Тейлор родился в окрестностях Сиднея. Отец — Уильям Стерт Тейлор, подрядчик и коммерческий художник; мать — Мона Тейлор (урожд. Томпсон), автор более сотни рассказов и книг для детей. Его второе имя происходит от двоюродного прапрадеда, капитана Чарльза Стерта, исследователя Австралии.
Тейлор учился в Парраматтской школе, затем в Восточносиднейском колледже техники и изящных искусств. Некоторое время работал коммерческим художником, но, увидев Лоренса Оливье в «Ричарде III» во время гастролей «Олд Вик», решил стать актёром.
Тейлор работал в театре и на радио. В 1951 году он принял участие в реконструкции путешествия Чарльза Стерта по рекам Маррамбиджи и Муррей, сыграв помощника Стерта, Джорджа Маклея; в том же году на основе реконструкции был снят короткометражный фильм «Вглубь страны со Стертом». На большом экране дебютировал в ролях американца в картине «Король Кораллового моря» (1954) и Израэля Хэндса в неофициальном продолжении «Острова сокровищ» «Долговязый Джон Сильвер».
В 1955 году Тейлор начал сниматься в Голливуде, время от времени возвращаясь в Австралию. Наиболее заметной ролью его стала роль путешественника в вольной экранизации научно-фантастического романа Герберта Уэллса «Машина времени», снятой в 1960 году режиссёром Джорджем Палом.