Танаис является первым из созданных в России археологических музеев-заповедников. Музей базируется на участках древнего города Танаиса. Город, названный по имени реки Танаис (Дон) был основан в её устье у впадения в Меотиду (Азовское море). Город Танаис почти восемь веков играл значительную роль в политической и экономической жизни городов Северного Причерноморья и граничащих с ними пространств Великой Степи.
В 1955 году Академией наук СССР была сформирована Нижне-Донская археологическая экспедиция, которая совместно с Ростовским университетом и Ростовским музеем краеведения под руководством Д. Б. Шелова приступила к научному исследованию городища Танаис.
Чуть позже именно начальник Нижне-Донской экспедиции Д. Б. Шелов и заместитель директора Ростовского областного музея краеведения С. М. Марков выступили с инициативой создания музея-заповедника.
В 1958 году Ростовский облисполком издал постановление «О создании музея-заповедника „Танаис“ как филиала Ростовского областного музея краеведения».
В 1960 году музею-заповеднику была передана в бессрочное пользование земля с основной площадью городища и прилегающими к нему участками некрополя.
Было начато строительство первых зданий музея на основе щитовых конструкций: музейной экспозиции, администрации и двух небольших подсобных помещений. Тогда в штате музея были всего две штатные единицы (заведующий и сторож). 1 августа 1961 г. музей был открыт и принял первых посетителей.