Название «Камень-Рыболов» произошло по легенде от камня в скале на берегу озера, в который во время прилива попадала рыба.
23 июня 1936 года в селе Камень-Рыболов был образован 47-й истребительный авиационный полк под руководством командира полка Ивана Якубовича и начальника штаба капитана Петра Ермолова. Полк первым из авиаотрядов 1 августа 1938 года вступил в бой с японской императорской армией на озере Хасан. С 1 по 11 августа 1938 года лётчики полка выполнили 20 боевых вылетов.
Для охраны железной дороги, построенной здесь в 1930-х годах комсомольцами, была сформирована 8-я кавалерийская дивизия. На её базе в начале 1942 года сформирована 7-я кавалерийская дивизия. 2-й, 248-й и 249-й кавалерийские полки 7-й кавалерийской дивизии принимали участие в марте — апреле 1943 года в тяжёлых боях за город Севск Брянской области.
Из промышленных предприятий в настоящее время никакие не функционируют. Работавшие ранее кирпичный, молочный и рыбзавод не действуют.
В селе находятся филиал Сбербанка, дополнительный офис Приморского регионального филиала Россельхозбанка, Дальневосточный научно-исследовательский институт защиты растений (ДВНИИЗР), районный музей.
На территории административного центра Ханкайского района дислоцировалась воинские части 5-й армии. На сегодняшний день часть расформирована, а территория распродана частным лицам.