В книге записей Агда между 824 и 1147 годами нет почти никаких сведений о существовании графов Агда. В IX веке упоминаются только три правившие Агдом персоны: графы Лейбульф, Арнальд и Аполлоний[1]. Предполагается, что впоследствии епископ Агда, кроме власти над местной епархией, имел также и светскую власть в графстве, а его вассалами были местные виконты[2], хотя эту гипотезу не удаётся пока подтвердить на основе первичных источников.
Можно предположить, что в середине X века графство Агд попало под влияние графов Руэрга и даже оказалось под их властью, о чём свидетельствует хартия от 2 июля 972 года, которая фиксирует слушания в Агде, на которых присутствовал граф Раймунд, хотя однозначно не доказано, на кого из Раймундов, Раймунда III Руэргского или графа Тулузы Раймунда V[3], ссылается этот документ.
После смерти около 1063 года Берты, дочери Гуго Руэргского, которая не оставила прямых наследников, графство Агд вместе с Безье, Нарбонной, Юзесом и Руэргом перешло к Гильому IV Тулузскому.
Степень влияния Тулузского дома в графстве Агд была ограничена в начале XII века, о чём свидетельствует вассальная присяга в 1101 году виконта Бернара епископу Агда[4]. Конец полунезависимого правления виконтов Агда может быть датирован 2 мая 1214 года, когда Бернар Атон VI, виконт Агда, Нима, Альби, Безье и Каркассона передал все свои владения Симону де Монфору[5].
После потери приобретённых владений и власти над ними домом де Монфор в 1217 году, Агд и прочие графства перешли к графству Тулуза, где в то время правил Раймунд VI. С этого времени Агд полностью утратил свою независимость.
Виконтство Агд было подвластно графам или епископам Агда. В то время как о графах данного образования почти ничего не известно, первое упоминание о титуле виконта Агда приходится уже на X век. Виконты Безье часто упоминались с титулом виконтов Агда. Скорее всего, оба виконтства передавались по наследству. В 1074 году Агд перешёл вместе с Безье к виконтам Альби и Нима.