В период Хэйан этот храм играл роль храма-защитника Киото, во время императора Сага монах Кукай организовал на базе этого храма подготовку высшего монашества школы сингон.
Храм, основанный в 796 году, стал одним из трёх буддийских храмов, разрешенных в Киото в то время, когда он стал столицей Японии. Храм имеет длинную историю, в нем хранятся сокровища и документы раннего периода Хэйан и империи Тан. Здания в храмовом комплексе, охватывают периоды Камакура, Муромати, Момояма и Эдо. Пять из этих зданий объявлены Национальными сокровищами: Ворота Цветка лотоса (ренгемон), Зал Миэй (миидо), Золотой зал (кондо) и пятиэтажная пагода (годзюното) и гостевой зал Канчиин.
То-дзи был внесен в список Всемирного наследия ЮНЕСКО в 1994 году как часть исторических памятников древнего Киото.
В зале для занятий сохранились старинные статуи школы сингон. Пятиярусная пагода высотой 57 метров — высочайшая в Японии.