Группа Cold War Kids образовалась в 2004 году в центре Фуллертона, когда участники начали собираться на регулярной основе в квартире одного из участников группы — Джонни Рассела. Название было придумано Мэтт Моустом во время его путешествия с братом по Европе и посещению парка отдыха в Будапеште.
На музыкантов Cold War Kids сильное влияние произвели следующие исполнители: Билли Холидей, The Velvet Underground, Боб Дилан, Джефф Бакли.