Родился 5 (17) декабря 1823 года в селе Вертеевка Харьковской губернии в дворянской семье и свои детские годы провёл в имении своих родителей в Харьковской губернии.
В 1845 году окончил петербургский Корпус горных инженеров и пять лет проработал на Луганском литейном заводе. В 1847 году был командирован за границу для изучения зарубежного каменноугольного дела. Профессиональная деятельность его тяготила и 27 октября 1851 года вышел в отставку. С 1853 по 1858 годы путешествовал по Европе — жил в Швейцарии и Италии, писал статьи, помещавшиеся в «Отечественных записках» (1857—1858) и «Современнике» (1859). Позже издал их в 1864 году в Санкт-Петербурге одной книгой с названием «Этюды путешественника: Италия, Швейцария. Путешественники и путешествие».
С 1859 года помещал сначала переводные (из Берне, Барбье, Шенье и др.), а затем собственные стихотворения в «Современнике», в «Отечественных записках», в «Вестнике Европы». В последних же двух изданиях, а также в «Русской мысли» 1890-х годах им был напечатан ряд отчётов о художественных выставок. Стихи П. М. Ковалевского «несколько академичны, но всегда изящны и образны. Как художественный критик, он отличается объективностью взглядов и тонко развитым чувством прекрасного». Напечатал также: «Уголок Италии» (рассказ, «Современник». — 1861. — № 2); «Непрактические люди» (повесть, «Современник». — 1864. — №№ 11—12); «Лето в Путбусе» (рассказ, «Отечественные записки». — 1868. — № 12); «Итоги жизни» (повесть, «Вестник Европы». — 1883. — №№ 1—3)
Трижды возвращался на службу: на короткое время в 1854 году, с октября 1858 по апрель 1861 года и с октября 1862 года находился на службе в Морском министерстве; был управляющим экспедицией по ревизии материальной отчётности. В конце 1880-х годов окончательно вышел в отставку в чине действительного статского советника, который получил 28 марта 1871 года[1]. Был награждён орденами Св. Анны 2-й ст. (1866), Св. Владимира 3-й ст. (1873), Св. Станислава 1-й ст. (1877)[2].
В 1912 году, уже посмертно, была издана книга Ковалевского «Стихи и воспоминания» (СПб.: Типография Т-ва «Общественная Польза», 1912. — 376 с., [1] л. портр.), где в главе «Встречи на жизненном пути» он рассказал о своем знакомстве с Достоевским в начале 1860-х годов.
Был женат на Анне Фёдоровне Кожевниковой, ученице композитора М. А. Балакирева; Павел Михайлович был убеждённым атеистом, а Анна Федоровна — человеком глубоко религиозным.