Божество Амэ-но коянэ-но микото, которому поклоняются в Ёсида-дзиндзя, был послан Аматэрасу на землю с драгоценной реликвией — зеркалом Аматэрасу. Этот ками считается прародителем клана Накатоми, который за поддержку будущего императора Тэндзина в борьбе против клана Сога получил имя Фудзивара[1].
В одном из малых храмов на территории святилища поклоняются его основателю, Фудзиваре Ямакагэ. Легенды приписывают ему мастерство в обращении с кухонным ножом, например, говорят, что он изобрёл 36 способов разрезания карпа, не прикасаясь к нему руками. Поэтому он считается покровителем поваров и ресторанов[1].
Святилище было основано в 859 г. Фудзиварой Ямакагэ и, как многие святилища рода Фудзивара, является филиалом храма Касуга в Наре[2][1].
Со своего основания храм находился под контролем священнического рода Урабэ[2], в 1375 году Урабэ Канэхиро изменил фамилию на Ёсида[1]. В годы войны Онин (1467—1477) храм частично сгорел[2].
Святилище было восстановлено в конце 1470-х годов Ёсидой Канэтомо, сделавшего храм центром созданного им течения синтоизма — Ёсида синто. Ёсида боролся за влияние с другими святилищами, и в 1489 году заявил, в храм из Исэ-дзингу перенеслось зеркало Ята-но кагами. Кроме того, он утверждал, что все ками Японии ежедневно сходят на гору Ёсида. Согласно его версии, в храме поклонялись Тайгэнсину («божеству великого начала»), который является первопричиной всего и прародителем рода Ёсида. Для поклонения ему был построен «Храм Великого Начала» (Сайдзёсё Дайгэнгу), в котором почитались и все 3132 ками, перечисленные в списке «Энгисики»[2][1].
В 1590 году в святилище был построен Хассиндэн, где с 1609 по 1868 года заседал Дзингикан («Палата Небесных и Земных Божеств»)[2].