Родился 25 августа (6 сентября) 1862 года в семье дворянина Полтавской губернии[1]. Его дед — Иван Яковлевич Коростовцев (1783—?) — адмирал русского флота.
Поступил на службу в Азиатский департамент Министерства иностранных дел; 1 мая 1890 года назначен вторым секретарём дипломатической миссии в Пекине. С 1894 года — секретарь миссии в Рио-де-Жанейро, с 1896 года — в Лиссабоне. 18 сентября 1899 года его назначили чиновником по дипломатической части при Главном начальнике Квантунской области, и с 14 декабря 1899 года он служил в Порт-Артуре. Однако в июне 1900 года, во время боксёрского восстания, был направлен с походным штабом вице-адмирала Е. И. Алексеева под Тяньцзинь, где с 5 августа по 7 сентября 1901 года, ввиду отсутствия консула, временно управлял делами консульства России. В апреле 1902 года он — генконсул в Бушире.
В 1905 году участвовал в работе русской делегации при заключении Портсмутского мира с Японией, после чего его назначили вице-директором 1-го Департамента МИД (с 10 марта 1908).
После неожиданной смерти в китайской столице полномочного посла, известного дипломата-китаеведа Д. Д. Покотилова, по предложению министра иностранных дел А. П. Извольского 9 мая 1908 года он был назначен чрезвычайным и полномочным министром в Пекине. В инструкции, составленной для него в Министерстве иностранных дел и одобренной царём 25 июня 1908 года указывалось: «не отождествляя наших интересов с интересами Западной Европы, стремиться к продолжению нашей политики до 1898 г., то есть действовать миролюбиво и отдельно от других стран… В согласии с этим принципом нам следует внушить Пекинскому правительству, что мы искренно и сознательно готовы считаться с его законными притязаниями, но будем требовать такого же уважения и к нашим договорным правам и такой же готовности сообразовываться с нашими жизненными интересами».
В 1909—1911 годах — посланник в империи Цин[2]. В декабре 1911 года чрезвычайным посланником и полномочным министром в Пекине был назначен В. Н. Крупенский.
В 1912 году по поручению премьер-министра С. Ю. Витте возглавил русскую дипломатическую миссию в Урге (ныне — Улан-Батор). 21 октября (3 ноября) 1912 года подписал в Урге Русско-монгольское соглашение, признававшее автономию (согласно русскому варианту) или независимость (согласно монгольскому варианту) Монголии и дававшее русским подданным в Монголии ряд привилегий. Этот акт означал признание независимого Монгольского государства. Этот договор, сыгравший решающую роль в процессе образования Монголии, был одним из крупных дипломатических успехов императорской России перед Первой мировой войной[3]. Данному эпизоду русской истории посвящён документальный фильм режиссёра Валерия Балаяна «Урга 1912. Воспоминания о непрошедшем» (2007)[4][5].