Графство Юзес располагалось к северу от графства Ним, на западном берегу реки Роны. Оно находилось на территории средневекового графства Тулуза. О графстве Юзес сохранилось меньше всего информации среди владений графов Тулузы. Также его сюзереном могли быть графы Руэрга.
Первое упоминание о сеньорах Юзеса относится к 1088 году. Неизвестно, были ли они вассалами графов Тулузы или епископов Тулузы. Первым известным сеньором стал Эльзар, однако он мог не иметь родственных связей с последующими сеньорам Юзеса.
До 1168 года сеньория Юзес выделилась из сеньории Поскье и основателем новой династии стал Бермонд I, сын сеньора Поскье Раймунда Декана II. В 1318 году его прямой потомок Роберт I стал первым виконтом Юзеса. В 1475 году дочь виконта Жана, Симона, вышла замуж за Жака I де Крюссоль. Потомки последнего носили сначала титул виконтов Юзеса, а с 1546 года герцогов Юзеса.