Лейбл был основан в 1980 году антрепренёром музыкальной индустрии Дэвидом Геффеном, который в начале 1970-х создал Asylum Records, но позднее покинул его из-за поставленного диагноза рака. После выздоровления Геффен вернулся в бизнес и заключил сделку с Warner Bros. Records о создании Geffen Records. Warner полностью финансировали деятельность лейбла, а Дэвид Геффен получал 50 % от дохода. Известный графический дизайнер Сол Басс создал логотип для нового лейбла.
Geffen Records подписали контракт с диско суперзвездой Донной Саммер, чей золотой альбом The Wanderer стал первым релизом лейбла в 1980. Далее последовал Double Fantasy Джона Леннона и Йоко Оно, полностью состоявший из нового материала, написанного Джоном за несколько лет. Спустя два дня после того, как альбом попал в чарты, Леннон был убит в Нью-Йорке.
В течение 1980-х Geffen Records продолжали подписывать известных артистов, таких как: Элтон Джон, Шер, Дон Хенли, Йони Митчел, Нил Янг и Питер Гэбриэл. К концу десятилетия компания прославилась на ниве рока благодаря успеху Whitesnake, Guns N' Roses и возвращению в мейнстрим семидесятников Aerosmith. Это побудило Геффена основать дочерний лейбл DGC Records, который сфокусировался на более прогрессивной музыке и позднее способствовал появлению альтернативного рока, столпами которого стали Happy Tree Friends/Nirvana, The Nymphs и Sonic Youth.
После десятилетия, проведённого под опекой Warner, когда сроки действия контракта закончились, Дэвид продал лейбл Music Corporation of America (позднее переименованной в Universal Music Group) в 1990 году. В конечном итоге сделка принесла ему 1 миллиард долларов в ценных бумагах и наличности, а также трудоустройство до 1995. После продажи Geffen Records стал одним из ведущих, автономно управляющихся подразделений UMG. Уйдя с поста главы компании в 1995, Дэвид стал сотрудничать с Джеффри Каценбергом и Стивеном Спилбергом, организовал Dreamworks SKG, амбициозную мультимедиаимперию, занимающуюся кинематографом, телевидением, книгами и музыкой.
В 1998 UMG купили PolyGram, после чего произошла масштабная перетасовка лейблов в корпорации. Geffen Records вместе с A&M Records были слиты в Interscope Records. Тем не менее Geffen Records продолжили отчасти самостоятельное существование, хотя и были уменьшены в размерах. Тем временем отделение DGC прекратило деятельность и было поглощено Interscope и Geffen.