В конце XVIII века начал играть (на русском языке) в одной из «вольных» польских трупп, странствовавших по территории Польши и Украины. 1813 году, организовав собственную труппу из польских, русских и украинских актёров, начал ставить спектакли на ярмарках в Харькове. В 1814 году совладельцем театра стал И. Ф. Штейн. В состав труппы входили М. С. Щепкин, П. Е. Барсов, И. Ф. Угаров и др. Калиновский сам выступал в амплуа героя в паре с женой А. И. Калиновской. В числе постановок — комедии, мелодрамы, феерии, трагедии, комические оперы.
В 1816 году Штейн выстроил в Харькове новое здание для своего театра, и Калиновский с частью труппы был вынужден уехать. Впоследствии он держал антрепризу в Калуге и Воронеже, ставил драмы, оперы, балеты. Состав труппы достигал 70 человек.
После смерти Калиновского в 1820-х годах его имущество, сбережения и труппа перешли к его другу и также известному антрепренёру — П. А. Соколову.
История жизни Калиновского отражена в рассказе В. А. Соллогуба «Собачка»[1], написанном со слов М. С. Щепкина (Калиновский выведен под фамилией Поченовского).