Родился 2 декабря 1861 года в семье псаломщика храма Введения на Лубянке. Воспитывался в Перервинском духовном училище (1871—1876) и Московской духовной семинарии (1876—1883). В 1887 году окончил Московскую духовную академию со степенью кандидата богословия[1]. Служил в церкви Тихвинской Богоматери в Лужниках, затем в церкви Георгия на Красной Горке (в 1892—1914 годах) и Святодуховском храме на Лазаревском кладбище (с 1914 года — настоятелем).
На шестом году служения Н. А. Скворцов напечатал книгу, которая обратила внимание знатоков церковной старины основательностью и привлечением большого числа архивных документов: Московская Тихвинская, что в Малых Лужниках, за Новодевичьим монастырем, церковь (М., 1893). В это время его жизнь стала тесно связана с деятельностью московского Общества любителей духовного просвещения, членом которого он был избран в 1892 году, а с 14 ноября 1908 года он был председателем Церковно-археологического отдела общества. В 1892—1898 годах он сотрудничал в Комитете по составлению историко-статистических описаний церквей Московской епархии.
В 1893 году Скворцов писал:
Стеснение церквей в наше время (время упадка веры и благочестия) неудивительно. Более поражает то явление, что и прежде, когда сильнее была вера, когда глубже было в сердцах уважение к храмам, эти последние терпели очень часто различные утеснения… Но был другой род утеснения храмов, и зло, им причиненное, непоправимо. Это совершенное уничтожение храмов.