Кладбище организовано в конце 1920-х — начале 1930-х годов на землях, прежде принадлежавших Иверско-Серафимовскому женскому монастырю. При этом исследователями найдено подтверждение об основании кладбища в 1932 году[1].
С 1950-х гг. кладбище становится одним из центральных некрополей Казахской ССР с местом захоронения наиболее известных в республике людей — представителей партийного и государственного руководства, деятелей культуры и искусства, военных и многих других.
На кладбище имеются мемориал погибшим в Великой Отечественной войне и секция захоронений японских солдат, погибших во время пребывания в советском плену в 1946–1948 годах в Алма-Ате[2].