Хань Гань принадлежит к тем старинным китайским художникам, чьи биографии расцвечены легендами и анекдотами. О нём сохранилось довольно много упоминаний, в той или иной степени отражающих фигуру реального Хань Ганя, но не сохранилось ни одного абсолютно достоверного произведения.
Согласно жившим в IX веке авторам трактатов о живописи Чжан Яньюаню и Чжу Цзинсюаню, а также более поздним китайским ученым, Хань Гань происходил из бедной столичной семьи, в молодости работал прислужником в небольшом кабачке, где его заметил известный поэт и художник Ван Вэй, разглядевший в нём талант. В дальнейшем Ван Вэй взял юношу под своё покровительство, оплатил его образование, и ввел в круг своих знакомых. Далее он был представлен императору Сюаньцзуну (712—756), который, как гласит предание, потребовал, чтобы Хань Гань нарисовал коней в манере лучшего придворного мастера Чэнь Хуна. Как пишет Чжу Цзинсюань: «Изумленный несходством представленных работ с картинами Чэнь Хуна, он осведомился, что было тому причиной. Хань Гань ответил: „Ваш слуга имел собственные оригиналы, все они — лошади в конюшне Вашего Величества“. Государь пришел в восхищение».
Этот случай стал причиной расположения императора к художнику и дальнейшего покровительства. Впрочем, в этом не было ничего удивительного — лошади, особенно выносливые, низкорослые породы из Центральной Азии всегда были страстью танского императорского дома. Однако образ этого животного разными танскими императорами воспринимался по-своему. На заре этой династии, в суровые времена, когда велись войны за объединение Китая, лошадь была боевым другом, с которым воин делил все ратные тяготы. Именно такой смысл вложен в изображения шести коней на знаменитых рельефах мавзолея императора Тайцзуна (626—649), созданных по рисункам Янь Либэня. Веком позднее, когда танская империя купалась в благополучии, император Сюаньцзун пополнил свои конюшни стадом более чем в сорок тысяч лошадей, полученных в дань из Западного края. Этих коней, никогда не видевших полей сражений, обучали танцевать перед Сыном Неба. Перестав быть бойцами, они окончательно сравнялись в своем статусе с наложницами императорского гарема. А художникам Чэнь Хуну и Хань Ганю давались императорские поручения создавать портреты самых любимых коней.