Окончил с серебряной медалью в 1855 году 1-ю Московскую гимназию. Дальнейшее образование получил на физико-математическом факультете Московского университета, который окончил в 1859 году кандидатом[1], а также в Михайловской артиллерийской академии, которую окончил в 1862 году.
В 1863 году был зачислен в геодезическое отделение Академии Генерального штаба. Назначенный в 1868 году исполняющим обязанности начальника топографического отдела Туркестанского военного округа, Жилинский более 30 лет провёл там на службе и содействовал изучению Туркестана в геодезическом и топографическом отношениях, произведя много астрономических и геодезических съёмок, метеорологических и других научно-исследовательских работ, например, съёмку Ферганской области (1878), межевую съёмку Семиреченской области, определение широты, долготы и высоты над уровнем моря многих мест Туркестана, составление 10-вёрстной карты Туркестанского округа (1885—1888), научную экспедицию на Памир (1886), 2-вёрстную карту Семиреченской области и др.
В 1900 году вышел в отставку в чине генерала от инфантерии. Его имя выгравировано на юбилейная медали «В память пятидесятилетия корпуса военных картографов»