Родителями Андрея Андреевича Оля были Андрей Иванович Оль (нем. Iogann Andreas Ohl), банковский служащий, купец второй гильдии, прусский подданный, потомок немецких колонистов, и немка Мария Ивановна, урождённая Гох, дочь живописца и фотографа академика Ивана Андреевича Гоха[2][3].
Андрей Оль окончил реальное училище Карла Мая (1901) и Институт гражданских инженеров императора Николая I в 1910 году. Дипломная работа «Художественный музей для провинциального города».
Стажировался у финского архитектора Элиель Сааринена (1905—1906), затем у Фёдора Лидваля. В дореволюционные годы построил в стиле модерн дачу писателя Л. Н. Андреева в Ваммелсуу близ Териок (не сохранилась)[4].
В 1916 году мобилизован в действующую армию и был направлен на Кавказский фронт в крепость Карс. В 1920 году демобилизован из рядов Красной Армии.
В 1920 после демобилизации вернулся в Петроград и до 1928 года возглавлял архитектурно-проектировочный отдел Свирско-Волховского строительства и заведовал архитектурно-проектировочным отделом «Электротока»[5].
С 1940 года жил в «доме Бенуа» на Петроградской стороне в Ленинграде (в годы Великой Отечественной войны — в городах Свердловске и Магнитогорске).