Родился 20 февраля 1816 года в Ливерпуле, Англия. Был сыном французских беженцев, отец которых эмигрировал в Новую Шотландию, а в 1818 году к нему присоединились жена и их ребёнок.
В 1826 году семья переехала в Бостон, где отец зарабатывал на жизнь работая сапожником. Уильям в пятнадцать лет стал чертежником, затем работал литографом — открыл студию и создал несколько церковных работ.
В 1840 году Уильям Риммер совершил турне по Новой Англии — писал портреты, жил в городе Рандолф, штат Массачусетс. В 1845—1855 годах работал сапожником, изучал медицину в Восточном Челси, Массачусетс, получив диплом общества Suffolk County Medical Society. В 1855 году переехал в город Милтон, Массачусетс, где зарабатывал резьбой по дереву и изготовлением бюстов из гранита. Также работал в глине, почти всегда без модели или предварительного эскиза, что влекло технические недостатки, однако его скульптуры были анатомически весьма точны.
С 1866 по 1870 годы Риммер директором школы Cooper Union School of Design для женщин в Нью-Йорке.[5] Опубликовал работы Elements of Design (1864) и Art Anatomy (1877), работал преподавателем.
Умер 20 августа 1879 года. Уже после смерти некоторые его рисунки демонстрировались на Арсенальной выставке в 1913 году.[6]
Интересно, что рисунок Риммера Evening (The Fall of Day) был взят за основу логотипа звукозаписывающей компании Swan Song Records[7], на которой, в частности, записывалась группа Led Zeppelin.[8]