Родился в Морли в ирландской семье. С 1952 по 1955 годы учился в Королевской академии драматического искусства в Лондоне. Много играл в театре, занимался постановкой Шекспировских произведений. В кинематографе Брайан известен благодаря роли Клайда Толсона в фильме «Никсон» 1994 года и озвучке Робин Гуда в одноимённом диснеевском мультфильме 1973 года. В 1971 году получил премию Тони. Лауреат премии «Драма Деск».
Актёр был открытым гомосексуалом. В 1985 году он начал жить с актёром Тимом Макдональдом, с которым прожил до конца жизни (за три года до его смерти, в 2013 году, они официально зарегистрировали свой брак).