Группа была сформирована в 1995 году Джоном Дженкинсом ( Only Living Witness , Milligram , Raw Radar War ) и была подписана Ларри Джейкобсоном на Giant Records Ирвинга Азоффа, также известного как Revolution Records.
Милтаун записал несколько демо-кассет самостоятельно с гитаристом/продюсером Брайаном Мактернаном и гитаристом Мэттом Сквайром , выпустив CDEP (Hydra Head Records), две 7-дюймовые виниловые пластинки и один альбом для Revolution Records с продюсером Тоби Райтом, который так и не был выпущен.
После затяжных внутренних споров и споров с лейблом группа впоследствии распалась. Дженкинс записал вокал для Milligram и Raw Radar War .
Tales of Never Letting Go был записан в 1998 году и должен был стать дебютным альбомом Miltown, но из-за конфликтов со звукозаписывающими компаниями и негативной внутригрупповой динамики группа распалась еще до релиза. До сих пор альбом так и не был выпущен.