Rechtliche Grundlage des Bankgeheimnisses sind die Allgemeinen Geschäftsbedingungen (AGB), Zivilprozessordnung (§ 383 ZPO), das Bundesdatenschutzgesetz und die Abgabenordnung (§ 30a AO). Bestandteile des Bankgeheimnisses sind die Verschwiegenheitspflicht und das Auskunftsverweigerungsrecht der Banken.
Das erste umfasst die Pflicht eines Kreditinstitutes, vertrauliche Informationen ihrer Kunden und deren persönlichen, wirtschaftlichen und finanziellen Verhältnisse geheim zu halten. Das Auskunftsverweigerungsrecht ist das Recht der Bank, gewisse Auskünfte ihrer Kunden zu verweigern.
Gesetzliche Ausnahmen entbinden die Institute allerdings von der Verschwiegenheitspflicht. Basis dessen sind die Vorschriften des Straf-, Steuer-, Bank-, Devisen-, Arbeits- und Sozialrechts. Ein Beispiel dafür ist, dass gegenüber dem Staatsanwalt und dem Strafrichter bei strafrechtlichem Ermittlungsverfahren und in Strafprozessen, insbesondere bei Steuerstraftaten, Auskunft zu erteilen ist. Verletzt ein Kreditinstitut die Verschwiegenheitspflicht außerhalb solcher Ausnahmen, so gilt dies als Vertragsbruch und der Kunde hat das Recht, die Geschäftsverbindung fristlos zu kündigen und gegebenenfalls Schadenersatz zu verlangen.