База организована приказом наркома ВМФ СССР от 23 июня 1941 году под названием Иоканьгская военно-морская база. Первым командиром ИВМБ в июне 1941 года был назначен капитан 2-го ранга А. И. Дианов[2].
Основу корабельного состава базы составили корабли и катера 1-го отдельного отряда пограничных судов НКВД. Главными задачами базы были: пресечение попыток немецкого флота зайти в Белое море и обеспечение разведки и обороны восточной части Баренцева моря, обеспечение перевозок по Белому морю (включая полярные союзные конвои)[3].
В августе—сентябре 1941 года немецкая авиация совершила 9 налётов на Иоканьгу силами до 25 бомбардировщиков в каждом, зенитным огнём сбито 5 самолётов. Крупные налёты были также 1 ноября 1941 года и в апреле-августе 1942 года[3].
C 1968 года в Гремихе базировались стратегические подводные ракетоносцы проекта 658 из состава 17-й дивизии подводных лодок.
В 1970-х база переоборудована для подводных ракетоносцев второго поколения 667Б «Мурена»[4] из 41-й дивизии подводных лодок.
В настоящее время база является одним из мест хранения отработанного ядерного топлива подводных лодок Северного флота и единственным местом, где возможно производить перезарядку реакторов с жидкометаллическим теплоносителем[2].