Йоаким Нильсон, Рикард Эдланд (ранее выступали в составе группы Norrsken), Аксель Шёберг и Трулс Мёрк создали Graveyard в 2007 году. Когда Norrsken распалась в 2000 году, гитарист Магнус Пеландер участвовал в формировании дум-фолк-метал-группы Witchcraft, а Нильсон и Эдланд присоединились к Albatross, блюз-рок-группе, в чей состав также входил барабанщик Аксель Шёберг. Изначально Albatross была задумана, как хобби-проект, но после пяти лет существования группы, её члены начали относиться к музыке более серьёзно и высказывать неудовлетворение к направлению, которое они выбрали. После распада Albatross, Нильсон и Эдланд решили, что для их следующего опыта они должны вернуть свои корни, как гитариста и вокалиста. Нильсон пояснил, «Я певец, но в Albatross я играл только на гитаре. Рикард тоже играл на гитаре, но он бас-гитарист. Мы также хотели более прямолинейной музыки»[1]
Вместе с Шёбергом и гитаристом/вокалистом Трулсом Мёрком она начали играть, как Graveyard. С этим составом Graveyard быстро записали две демозаписи, сыграли три концерта и начали планировать целый альбом с шведским лейблом, Transubstans Records. В то же время они запостили демозаписи на MySpace. Эти песни со страницы в MySpace приглянулись Tony Presedo, основатель TeePee Records. Их одноимённый дебютный альбом записанный Доном Альстербергом и выпущенный в начале 2008 года. При завершении записи Трулс Мёрк был заменен гитаристом Юнатоном Ларока-Раммом. Первый альбом получил в большинстве хорошие оценки.[2]
Graveyard впервые съездили в США на фестиваль SXSW.[3] После SXSW Graveyard выступали в туре вместе со своими лейбл-партнерами Witch. В конце 2008 года Graveyard также выступали с Witchcraft и Clutch. В 2009 же с рок-группой CKY.[4]
25 Марта 2011 года на лейбле Nuclear Blast вышел второй альбом группы, Hisingen Blues.[5] Альбом был тепло встречен критиками, а также находился в датском чарте Tracklisten 18 недель и поднимался до 1-го места.[6] 26 октября вышел третий альбом, Lights Out.[7]
В январе 2017 на своей странице в Facebook группа объявила о возвращении, но с новым барабанщиком.[8]