Брайтон Ривьер родился 14 августа 1840 года в Лондоне.[1] Его отец, художник Уильям Ривьер (англ. William Rivière), был учителем в колледже Челтенхем, а затем в Оксфорде, где получил образование и сам Брайтон. Его дядя, Генри Парсонс Ривьер (1811–1888), также был известным акварелистом.
В живописи он практически всему научился у отца и стал заметной фигурой среди современников. В 1857 году три его картины были выставлены в Королевской Академии художеств, хотя его работы стали регулярно появляться на этих выставках лишь с 1863 года, когда были написаны «Накануне Испанской армады» (англ. The Eve of the Spanish Armada) и «Ромео и Джульетта» (англ. Romeo and Juliet, 1864 г.) Позднее художник переключился на анималистские темы и по большей части рисовал животных. Его жена, Мэри Алиса Ривьер (урожденная Добелл; 1844–1931), на которой он женился в 1867 году, была художницей, она также выставлялась в Королевской академии художеств в 1869 году.
У Ривьеров было семеро детей; пять сыновей и две дочери. Один из сыновей, Хью Голдвин Ривьер (1869–1956), стал портретистом. Другой сын, Эвелин, женился на переводчице Джоан Ривьер.