Поскольку в момент смерти отца он был несовершеннолетним, то младший брат его деда Гуго III, Герберт Бако, стал регентом. Однако он вскоре поссорился с епископом Ле-Мана Жерве, в результате чего в 1036 году был смещён и пострижен в монахи, а Гуго был объявлен совершеннолетним. Позже Жерве устроил брак Гуго с Бертой де Блуа, что вызвало возражения графа Анжу Жоффруа II Мартела, враждовавшего с графами Блуа. В результате Жоффруа после смерти Гуго захватил Мэн.