Городской округ раскинулся с запада на восток на 133 км, вдоль горного хребта Цяньшань, и занимает площадь в 9282 км². Аньшань находится на 89 км южнее Шэньяна, административного центра провинции.
Археологические исследования позволяют утверждать об очень древнем присутствии человека в этих местах, порядка 20 тысяч лет назад.
Во времена империи Мин здесь была построена почтовая станция, которая получила название «Аньшань» («Седловидная гора») из-за того, что поблизости имелась гора, напоминавшая по форме лошадиное седло. Потом здесь начали добывать железо, и рядом с почтовой станцией вырос населённый пункт.
В 1918 году здесь было создано совместное китайско-японское сталелитейное предприятие. Когда после инцидента 18 сентября Япония в 1931 году захватила Маньчжурию, то предприятие стало чисто японским, а в 1933 году было переименовано в «Showa Steel Works». Когда эти земли стали частью Маньчжоу-го, здесь стали возводиться новые сталелитейные предприятия. 1 декабря 1937 года был официально образован город Аньшань.
Город стал одним из крупнейших индустриальных центров Азии, в результате чего во время Второй мировой войны превратился в постоянную мишень для американских стратегических бомбардировщиков, а ВВС Императорской армии Японии выделили для его прикрытия 1-ю эскадрилью 104-й боевой группы. После 1945 года эти земли вернулись в состав Китая, однако в ходе гражданской войны они стали ареной одного из крупнейших сражений между НОАК и НРА.
В феврале 1948 года Аньшань был взят Народно-освободительной армией Китая. 9 июля 1949 года начал работу восстановленный Аньшаньский сталелитейный завод. Стали развиваться добыча угля и железа. Развитие тяжёлой промышленности вызвало ухудшение экологической ситуации, и наряду со славой крупнейшего производителя стали Аньшань приобрёл известность также одного из самых загрязнённых мест Китая.