Сведения о художнике немногочисленны и подчас противоречивы. Точная дата его рождения неизвестна (разные авторы строят разные предположения относительно этой даты), однако известно, что он происходил из Усина, пров. Чжэцзян. Все источники сообщают, что первоначально Янь Вэньгуй числился в армии, где занимал интендантскую должность. С приходом к власти императора Тай-цзуна (976—997) он покинул армейскую службу, и перебрался в столицу империи Бяньлян (как полагают, это произошло в конце 970-х годов). Там он стал зарабатывать тем, что торговал своими картинами с пейзажами и жанровыми сценками на улице, ведущей к Тянь Мэнь (Небесному мосту). Предполагают, что его учителем был мало известный художник Хао Хуэй.
Как часто бывает в китайских жизнеописаниях, Вэньгую помог случай: его картины на улице увидел придворный живописец Гао И. Он был действующим членом Академии Ханьлинь, специализировался на росписях храмов божествами, и обратился к императору с просьбой, чтобы тот позволил использовать Янь Вэньгуя в качестве помощника для росписи стены пейзажем. Император дал разрешение, и вскоре художник был зачислен в императорскую Академию. Любопытно, что сам Гао И стал членом Академии Ханьлинь тоже по воле случая: он торговал лекарствами, которые заворачивал в бумагу, собственноручно разрисованную разными божествами и демонами до тех пор, пока эти работы не увидел родственник будущего императора Тай-цзуна, который и порекомендовал его императору. Эти примеры дают представление, какими, порой, довольно неожиданными, путями формировался штат императорской Академии.
В исторических анналах сохранилась запись о том, что в 988 году Янь Вэньгуй расписал веер, который очень понравился императору. Сведения о старинных китайских мастерах обычно расцвечены разными анекдотами и легендами, отличить правду от вымысла в которых очень трудно. В связи с веером и Вэньгуем сохранился анекдот о том, как император наказал Янь Вэньгую написать на веере портрет своего министра с намёком, что это должен быть портрет Гао И. Вэньгуй преподнёс императору белый шёлковый веер, а когда тот перевернул веер другой стороной, он обнаружил там автопортрет самого Янь Вэньгуя. Император был расположен к Вэньгую и не лишён чувства юмора, поэтому шутка ему понравилась.