Родился 11 (23) июня 1861 года в Туле в семье врача, потомственного дворянина Василия Алексеевича Ульянинского (?—1912). Будучи гимназистом, в 1878 году в Ясной Поляне, обучал греческому языку старших детей Л. Н. Толстого[1]. Окончил Тульскую гимназию (1880; золотая медаль), затем, в 1884 году — физико-математический факультет Московского университета (кандидатом математических наук), однако всю свою жизнь посвятил собиранию и изучению книг. Уже к концу гимназического курса, по собственным воспоминаниям Ульянинского[2] его собрание книг включало 400 названий (букинистических среди них тогда не было; вкус к старинным книгам пришёл позже, в Москве).
В 1885 году он поступил на службу в Управление Московского удельного округа, где проработал до 1917 года. В конце 180-х годов он увлёкся театром, принимал участие в любительских спектаклях и даже подумывал уйти в отставку и стать профессиональным актёром.
С 1886 года и до самой смерти был деятельным членом Русского библиографического общества при Московском университете, позже стал его председателем[3], в сентябре 1917 года — почётным членом.
Собирание книг, начавшееся ещё в юности, он возобновил в 1892 году. В 1890 году Ульянинский поселился в казённой квартире на Пречистенском бульваре, где одну из комнат впоследствии выделил под свою библиотеку. Книжные шкафы были выполнены по специальному проекту Ульянинского. Книги из своей библиотеки он показывал только избранным и никогда не давал на дом. Сначала он покупал исключительно редкие книги, независимо от их содержания. Затем решил сосредоточиться на нескольких отделах, среди которых: материалы по истории русского просвещения и литературы, библиография, генеалогия, Rossica, русская словесность XIX века.
Ульянинский был весьма религиозен, посещал практически все службы, соблюдал посты. Московские букинисты, за его привередливость при отборе книг, называли его «чистоплюем». Он близко сошёлся с П. П. Шибановым и А. М. Старицыным. А вот с Н. В. Соловьёвым поссорился из-за дефектного экземпляра одной из книг, выписанной им по каталогу этого букиниста. За год Ульянинский приобретал от 150 до 200 книг, тратя на это большую часть своей высокой заработной платы: так, в 1913 году он потратил свыше 25 тысяч рублей.
Библиотека Д. В. Ульянинского как по количеству редких и редчайших изданий, так и по сохранности экземпляров была одной из лучших русских частных собраний своего времени. Ульянинский составил и издал полное библиографическое описание собственной библиотеки, в котором каждому изданию посвящено своего рода небольшое книговедческое исследование — каталог «Библиотека Д. В. Ульянинского. Библиографическое описание» в 3-х томах (1912—1915): Том 1; Том 2; Том 3. Его собрание включало 4400 томов, в том числе особо ценный раздел Rossica, посвященный России[4].