В 10-летнем возрасте Отто начал заниматься футболом в любительском клубе «Хелене Алтенэссен», совмещая это с работой маляра. До 22-х лет он выступал на любительском уровне, а в 1960 году перешёл в клуб Региональной лиги (второго дивизиона чемпионата Германии) «Рот-Вайсс», за который играл на протяжении трёх сезонов. В 1963 году защитник был приглашён в клуб только созданной Бундеслиги «Герту». После вылета «бело-голубых» из элитного дивизиона Рехагель оказался в «Кайзерслаутерне». В этом клубе он выступал на протяжении семи сезонов, после чего принял решение завершить карьеру игрока.
Сразу после завершения карьеры игрока Рехагель перешёл на тренерскую работу. На протяжении первых лет тренерской работы Рехагель без особого успеха тренировал различные немецкие команды, в числе которых были «Вердер» и дортмундская «Боруссия», нигде не задерживаясь более чем на два сезона.
В 1979 году он возглавил «Фортуну» из Дюссельдорфа, с которой через год сумел выиграть Кубок ФРГ, переиграв в финале со счётом 2:1 «Кёльн». Для команды этот трофей стал лишь третьим в её истории, а для молодого тренера — первым. После этого успеха на него обратили внимание более статусные клубы.
В результате в 1981 году Рехагель во второй раз за карьеру возглавил «Вердер» (который сезоном ранее вернулся в Бундеслигу), оставаясь во главе клуба 14 лет. Примечательно, что изначально руководство бременцев рассматривало Отто как временного тренера, который должен был подменить попавшего в автокатастрофу Куно Клётцера, однако положительные результаты команды привели к тому, что работу с ней продолжил именно Рехагель. Постепенно ему удалось превратить «Вердер» в одного из лидеров немецкого футбола: за 14 лет команда лишь 5 раз выпадала из числа призёров чемпионата Германии, дважды становясь чемпионом (в 1988 и в 1993 годах) и дважды выигрывая Кубок Германии. В 1992 году «зелёно-белые» выиграли единственный в своей истории еврокубок, став обладателями Кубка обладателей кубков в 1992 году. В финальном матче был обыгран «Монако», тренером которого был Арсен Венгер. За достигнутые успехи бременские болельщики дали Рехагелю прозвище «Король Отто».
Летом 1995 года Рехагель принял предложение руководства мюнхенской «Баварии» возглавить клуб. Под его руководством мюнхенцы стартовали с семи побед подряд, установив новый рекорд Бундеслиги, однако затем последовал спад, и как следствие — конфликт с рядом футболистов (в том числе с лидером команды Мехметом Шоллем). Несмотря на это, команда сумела стать вице-чемпионом Германии и дойти до финала Кубка УЕФА. Незадолго до финального матча с «Бордо» Рехагель был уволен и формально мюнхенцы завоевали этот трофей под руководством Франца Беккенбауэра.