Службу начал в 1817 году подпрапорщиком в лейб-гвардии Павловском полку. Произведённый в 1818 г. портупей-юнкера, он был переведен во 2-й карабинерный полк и в том же году произведён в прапорщики с переводом в Несвижский карабинерный полк. В 1821 г. перевёлся в лейб-гвардии Волынский полк и в 1827 г. был произведён в капитаны.
Приняв в 1831 г. участие в подавлении польского мятежа, Белявский за отличие был произведён в полковники и зачислен в лейб-гвардии Семёновский полк, но остался командовать резервным батальоном лейб-гвардии Волынского полка и в следующем, 1832 г., был обратно переведён в этот полк. Назначенный в 1837 г. командиром Симбирского егерского полка, Белявский в 1840 г. был произведён в генерал-майоры и в том же году назначен командиром 1-й бригады 15-й пехотной дивизии, а в следующем, 1841 г., получил в командование вторую бригаду той же 15-й дивизии. 11 декабря 1840 г. был награждён орденом св. Георгия 4-й степени за беспорочную выслугу 25 лет в офицерских чинах (№ 6189 по списку Григоровича — Степанова).
В 1844 году Константин Яковлевич Белявский принял участие в походах в Чечню и Дагестан, а в 1845 году в Даргинской экспедиции. Как на пути к Дарго, так и при возвращении отряда через страшные Ичкерийские леса он командовал авангардом экспедиционного отряда и прокладывал ему путь через завалы горцев, имея приказание графа Воронцова «не стрелять при штурме их, а брать штыками»; один из таких завалов в бою 14 июля на Шуанийских высотах Белявский взял во главе всего лишь 11-ти человек Апшеронского полка. Дважды тяжко контуженный во время этой экспедиции в правую ногу ниже и выше колена, он получил золотую шпагу с алмазами с надписью «За храбрость» и 6 августа — орден св. Георгия 3-й степени (№ 461)
В воздаяние блистательнаго мужества и отличной распорядительности, оказанных 6 июля при занятии селения Дарго, где, командуя авангардом главнаго отряда, действовавшаго против мятежных горцев и следуя дремучим лесом, стремительно овладел 23 укрепленными завалами, несмотря на упорное сопротивление неприятеля.
Назначенный в 1845 году состоять по особым поручениям при главнокомандующем отдельным Кавказским корпусом князе Воронцове, он сделал вторичный поход в Чечню и в 1847 году был сделан Кутаисским военным губернатором и управляющим гражданской частью.