Эд Лотер родился 30 октября 1938 года в Лонг-Бич, Нью-Йорк, США в семье Эдварда Мэтью и Салли Ли Лотер, актрисы и танцовщицы Бродвея 1920-х годов.[7] Изучал драматическое искусство в актёрской школе, а в 1961 году получил степень бакалавра в области английской литературы.[8] В течение двух лет служил в армии. Карьеру начал как комик, а затем как актёр дебютировал сначала на Бродвее, а затем на телевидении и в кино.[9] На большом экране появился в картинах «Кинг-Конг» (1976), «Куджо» (1983), «Жажда смерти 3» (1985), «Без компромиссов» (1986), «Рождённый четвёртого июля» (1989), «Артист» (2011) и многих других.