Футбольный клуб «Ганновер 96» был основан 12 апреля 1896 года. Поначалу это был спортивный клуб, в котором занимались учащиеся школ, а первыми спортивными секциями были регби и атлетика. Футбольная секция появилась позже — 25 июня 1899 года. В 1913 году путём слияния с «BV Hannovera 1898» был образован «Ганноверский Спортивный Клуб 1896» (нем. Hannoverscher Sportverein von 1896 e.V., современное официальное название), объединивший несколько видов спорта, в том числе и футбол. В 1914 году «Ганновер 96» совершил первое зарубежное турне по Швеции. В 1919 году почётным председателем клуба стал Пауль фон Гинденбург, гражданин Ганновера, будущий президент Германии.
Одним из самых обсуждаемых и всё же невыясненных вопросов в ранней истории клуба является традиционный красный цвет формы, в которой играет команда, и соответствующее прозвище «Красные» — при том, что герб и флаг «Ганновера 96» с самого начала чёрно-бело-зелёных цветов. По меньшей мере в одной из сохранившихся газет 1930 года (а архивы сильно пострадали во время Второй мировой войны) команда уже привычно обозначена как «Красные». Согласно господствующей версии, в начале XX века городские власти в порядке помощи раздавали (или, возможно, разыгрывали) бесплатные комплекты форм среди разных ганноверских спортивных объединений, и «Ганноверу 96» достались красные футболки. Так зародилась традиция.
В этот период «Ганновер 96» дважды завоевал титул чемпиона страны. Успехи клуба во второй половине 1930-х годов связаны с именами тренера Роберта Фукса (Robert Fuchs) и игроками национальной сборной Германии Фрицем Дайке (Fritz Deike), Людвигом Пёлером (Ludwig Pöhler), Эдмундом Малецки (Edmund Malecki) и Йоханесом Якобсом (Johannes Jakobs). Первого серьёзного результата «Ганновер» добился в 1936 году, дойдя до финала чемпионата Германии, в это же время игроки клуба были привлечены в сборную страны. Двумя годами позже, в 1938 году, клуб оформил первое чемпионство. В финале «Ганноверу» противостоял мощный в то время «Шальке 04». Первая финальная игра закончилась вничью в дополнительное время (3:3), поэтому была назначена переигровка. Во второй игре, проходившей в присутствии 95000 зрителей, «Ганновер» сумел победить со счётом 4:3. гельзенкирхенцы смогли взять реванш в 1946 году в матче, посвящённом 50-летию «Ганновера», разгромив его со счётом 6:1.
В 1954 году клуб, не обладая известными игроками, выиграл второй чемпионский титул, сенсационно со счётом 5:1 победив в финале грозный «Кайзерслаутерн», в составе которого выступало пять футболистов национальной сборной — будущих чемпионов мира. Ко второй победе в первенстве «Ганновер» привёл тренер Хельмут Кронсбайн, вместе с любовью болельщиков заслуживший прозвище «Fiffi» (Хитрец).