Заложена 2 апреля 1960 года на стапеле цеха №42 Северного машиностроительного предприятия. Спущена на воду 18 июня 1961 года. С 22 января по 30 августа 1961 года на лодке были проведены швартовные испытания оборудования и механизмов. Заводские ходовые испытания проводились в период с 12 по 16 сентября 1961 года. Государственные испытания проходили с 21 сентября по 31 октября 1961 года. 31 октября 1961 года Государственная комиссия подписала акт о завершении государственных испытаний ПЛА «К-21».
Включена в состав Северного флота в ноябре 1961 года, зачислена в состав 3-й дивизии подводных лодок с местом базирования в Западной Лице. Первым командиром ПЛА «К-21» был назначен капитан 2 ранга Чернавин В.Н.
Всего до конца 1961 года ПЛА «К-21» прошла 5906 морских миль, из них 3524 морские мили в подводном положении. В период с 24 марта по 14 мая 1962 года лодка совершила 51-суточный боевой поход, пройдя 10124 морских мили, включая 8648 морских миль в подводном положении. Это плавание считается первым походом советской ПЛА на полную автономность. Для обеспечения похода ПЛА «К-3» к Северному полюсу в 1962 году ПЛА «К-21» осуществляла мероприятия по проведению ледовой разведки под водой. При проведении ледовой разведки производились стрельбы боевыми торпедами.
С 23 апреля по 21 мая 1964 года ПЛА «К-21» совершила боевой поход в Норвежское море и Северную Атлантику по плану учений "Ограда". В 1965 году лодка несла боевую службу в Баренцевом море.
В 1965 году лодка вернулась на «Звездочку» для среднего ремонта и модернизации, которые были завершены в 1966 года. В кампанию 1967 — 1970 годов ПЛА «К-21» произвела 3 автономных похода на боевую службу общей продолжительностью 170 суток.
В период с 1973 года по 1975 год лодка прошла очередной ремонт с перезарядкой активных зон реакторов.В 1975 году переведена в состав 17-й дивизии подводных лодок с местом базирования в Гремихе.