Окончил морской кадетский корпус, затем был мировым посредником Петергофского уезда и старшим нотариусом курского окружного суда. В 1873 поступил на сцену, играл в провинции, в 1879—1883 в Санкт-Петербурге, затем в Москве в театре Корша в 1884—1888 и 1890—1893; неоднократно приезжал с частными труппами в Петербург. Киселевский исполнял роли трагиков и драматических резонёров. Лучшими в его репертуаре считаются роли Кречинского и Несчастливцева («Лес» А. Н. Островского).
Похоронен на Митрофаниевском кладбище Санкт-Петербурга, в 1936 году захоронение перенесено в Некрополь мастеров искусств.