Николай Васильевич Ковалёв родился в селе Глушково Курской губернии 8 (20) января 1888 года. Учился в сельскохозяйственном училище, после чего был призван в армию. Командир разведывательной команды, получил ранение и был награждён Георгиевским крестом.
В 1919 году Ковалёв стал членом РКП(б) и вступил в Красную Армию, принимал участие в боевых действиях в Крыму. После 1922 года работал учителем в школе, агрономом, а также в партийных органах Курской губернии. В 1927 году Николай Васильевич переехал в Москву, где стал главой отдела растениеводства Наркомзема. В 1928 году Ковалёв был назначен директором Никитского ботанического сада, в 1929 году — директором Всесоюзного института защиты растений. С 1931 года работал заместителем директора Всесоюзного института растениеводства.
В 1936 году Ковалёв при поддержке Н. И. Вавилова получил степень кандидата сельскохозяйственных наук без защиты диссертации. Затем он стал директором Майкопской опытной станции. В июне 1941 года Николай Васильевич был арестован по доносу одного из противников Вавилова, написанного ещё в 1937 году, и сослан в Казахстан на 5 лет.
После освобождения работал в мясо-молочном совхозе, в 1946 году был назначен заведующим плодового отдела Среднеазиатской станции ВИРа. С 1951 года Николай Ковалёв работал в Узбекском институте садоводства, виноградарства и виноделия. В 1959 году вернулся в Майкоп, где изучал плодовые культуры рода Слива.