Родился 29 января 1858 года в Симбирске, получил там первоначальное образование — с 1874 по 1878 год учился в Симбирской гимназии; далее окончил Императорский Казанский университет (1878—1882), при котором был оставлен в качестве стипендиата для подготовки к профессорскому званию по зоологии. Во время учёбы в Казанском университете А. А. Остроумов рано проявил интерес к зоологии и начал работать в зоологическом кабинете под руководством профессора Н. М. Мельникова.
В 1883 году был прикомандирован к Новороссийскому университету, работал на Севастопольской зоологической станции[1], в 1884 году сдал экзамены на степень магистра зоологии, в 1885 году отправился за границу, где работал на Неаполитанской зоологической станции; возвратившись в 1886 году в Казань, стал приват-доцентом по сравнительной гистологии, в 1887 году защитил магистерскую диссертацию «Опыт исследования мшанок Севастопольской бухты в систематическом и морфологическом отношениях» (Казань, 1886).
В Казанском университете А. А. Остроумов читал лекции по гистологии и по зоологии позвоночных, продолжал исследования в области эмбриологии и гидробиологии. Защитил докторскую диссертацию по теме: «К истории развития ящериц» («Труды Общ. Естествоиспытателей при Казанском Университете», 1888).
А. А. Остроумов был заведующим севастопольской зоологической станцией (1891—1897). Участвовал во 2-й черноморской «глубомерной» экспедиции 1891 года, произвёл ряд важных исследований над фауной Чёрного, Азовского, Мраморного морей, также над фауной лиманов и устьев рек Северного Причерноморья, составил «Определитель рыб Чёрного и Азовского морей» («Вестник Промышленности». — № 7, 8 и 9. — 1896; отд. издание: Санкт-Петербург : тип. В. Демакова, 1896. — [4], 45 с.)[3]. В августе 1897 года А. А. Остроумов оставил станцию в связи с избранием его профессором зоологии Казанского университета.
С 14 декабря 1897 года Остроумов непрерывно состоял членом Общества естествоиспытателей при Казанском университете[4]. В 1898 году он совершил, при содействии общества естествоиспытателей, поездку на Каспий; он ознакомился с фауной Волги, с приустьевыми участками мелководий Северного Каспия, а также с фауной устья реки Куры.
Будучи заведующим зоологическим кабинетом А. А. Остроумов большое внимание уделял зоологическому музею, сформированному ещё стараниями Э. А. Эверсмана. К заслугам Остроумова следует отнести пополнение коллекций музея образцами фауны залива Петра Великого. Кроме того, он способствовал составлению полного карточного каталога музея. Для этой цели он пригласил С. А. Зернова, в то время находившегося в административной ссылке. Были составлены и опубликованы каталоги коллекций бабочек, рыб и птиц. Статья «К истории зоологического кабинета Казанского университета» (1926) стала его последней публикацией.