Футбольный клуб «Мариуполь» был основан в 1960 году, когда объединились две любительские команды — «Авангард» (город Жданов, ныне Мариуполь) и «Шахтёр» (поселок городского типа Рутченково, ныне пригород Донецка). Новый коллектив получил название «Азовсталь» по названию главного металлургического завода города. С 1960 по 1970 годы команда выступала в Первой лиге СССР, втором по значимости (после Высшей лиги СССР в те годы называвшейся «Группа А», «Группа 1», «Класс А», «Класс 1») ежегодном турнире футбольных команд Советского Союза, в то время носившим названия «Группа Б», «Группа 2», «Класс Б», «Класс 2». С 1971 по 1991 год команда играла в украинской зоне Второй лиги СССР, турнир этой зоны называли также Чемпионатом УССР.
С 1992 по 1995 год команда играла во Второй лиге Украины. Летом 1995 года мариупольская команда объединилась с командой «Динамо» (Луганск). Обновленная команда с 1995 по 1997 год выступала в Первой лиге Украины. С 1997 до 2007 года команда играла в Высшей лиге Украины. В 2007 году команда выбыла в Первую лигу, но, заняв в турнире сезона 2007/08 первое место (с отрывом в 11 очков), в 2008 году вновь вернулась в Высшую лигу Украины.
В 2008—2015 годах «Ильичёвец» семь сезонов провёл в высшем дивизионе украинского футбола. Однако, с 2014 года для команды наступили непростые времена. По итогам этого чемпионата «Ильичёвец» занял 14-е, последнее место, и выбыл в Первую лигу. Спустя два сезона, в розыгрыше 2016/17, команда вернулась в Премьер-лигу, обеспечив себе выход в высший дивизион за три тура до завершения турнира. В июне 2017 года «Ильичёвец» переименовали в ФК «Мариуполь». Это название выиграло в опросе у «Металлурга» который проводился на сайте ФК «Мариуполь» и 0629.com.
В 2022 году, в связи с разрушением клубной инфраструктуры и оккупацией Мариуполя в результате вторжения в Украину российских войск, клуб приостановил своё участие в чемпионате Украины и в сезоне 2022/23 участия не принимал[1].
Самое высокое достижение клуба в кубке Украины — полуфинал. Клуб трижды останавливался в шаге от финала.