Банк был основан законом № 60 военной администрации от 1 марта 1948 во Франкфурте-на-Майне. Предшествовали долгие разногласия среди оккупационных властей и основание Центральных земельных банков в американской и французской зоне. В конце концов победила точка зрения Великобритании о создании единого центрального банка и единой денежной политике для Германии. Банк немецких земель этим фактически стал функциональным последователем Рейхсбанка и предшественником Бундесбанка.
Центральной задачей банка была денежная политика в американской и британской зонах Германии. 1 ноября 1948 французская зона присоединилась к центральному банку. До 1951 банк подчинялся союзникам. После этого он стал независимым и не подчинялся указаниям правительства ФРГ.
Высший орган — Центральный банковский совет (Zentralbankrat), состоящий из президентов земельных центральных банков. Центральный банковский совет назначается президента Банка Немецких земель и президента директории, который назначал остальных членов директории (Mitglieder des Direktoriums).