Институт был основан в октябре 1928 года под названием «Казахский государственный университет» по решению Совета народных комиссаров Казахской АССР от 23 марта этого же года. В год открытия состоял из единственного педагогического факультета с тремя отделениями: физико-математическим, естественным и лингвистическо-педагогическим. В 1928/29 учебном году в вузе обучалось 124 студента и работало 9 преподавателей-профессоров[1]. Первым ректором КазПИ был профессор С. Д. Асфендияров. Институт расположился в здании Верненской мужской гимназии[2].
В дальнейшем планировалось создание трёх факультетов — педагогического, сельскохозяйственного и медицинского, которые должны были начать работу в 1932/33 учебном году. Однако в интересах интенсивного развития народного образования было решено развивать вуз как самостоятельный педагогический институт[3]. Поэтому с 1930 года название вуза сменилось на «Казахский педагогический институт» (КазПИ), а в 1935 году институту было присвоено имя Абая.
Серьёзной проблемой для Казахского педагогического института в то время была комплектация штата квалифицированными научно-педагогическими кадрами. В 1930-х годах в институте читали лекции С. Сейфуллин, У. Джандосов, М. Ауэзов, С. Муканов, Б. Шалабаев, К. Жубанов и другие. Огромную роль в становлении и развитии института сыграла помощь, которую оказали многие учебные заведения братских республик, в особенности РСФСР, в частности вузы Москвы и Ленинграда. Они щедро делились богатством своих библиотек, оборудованием для кабинетов. В те годы на педагогическую работу в КазПИ приехали такие известные ученые, как литературовед Н. Н. Фатов[4], математик Б. Л. Кругляк, физик В. Ф. Захваткин и многие другие.
В организации первого вуза Казахстана большую роль сыграл выдающийся государственный деятель, талантливый ученый и педагог Санжар Асфендияров. Он возглавил организационно-методическую работу вуза и принял первых студентов, внес неоценимый вклад в формирование учебно-материальной базы учебного заведения, в обеспечение учебниками, в подбор преподавателей[3].