Происходил из малороссийских дворян, сын заседателя уездного суда коллежского асессора Михаила Семеновича, помещика Переяславского уезда[2]. Образование получил в Артиллерийском и инженерном шляхетском кадетском корпусе[3].
Был дежурным генералом при военном министре графе Аракчееве. В 1812 году командовал 7-й пехотной дивизией, отличился в боях под Смоленском и Бородино. В 1813 году командовал 10-м пехотным корпусом. В сражении под Лейпцигом Капцевич, несмотря на сильную контузию, одним из первых ворвался в город. Был награждён 6 октября 1813 года орденом Св. Георгия 2-го кл.
В 1819 году назначен командиром Отдельного Сибирского корпуса и наказным атаманом Сибирского казачьего войска, а в 1822 году — генерал-губернатором Западной Сибири, где улучшил быт ссыльных, определил порядок службы сибирского казачьего войска.