Родился 24 апреля 1941 года в Мельбурне (Австралия). Начал обучаться игре на гитаре в возрасте четырёх лет под руководством отца, Леонарда Уильямса, который также был гитаристом, в 1930-е годы уехавшим из Англии в Австралию. В 1952 году семья переехала в Лондон, где Уильямс-старший организовал школу гитаристов (ныне Лондонский гитарный центр). В 1955 году исполнение юного Уильямса услышал Андрес Сеговия, находившийся в то время в Лондоне. Знаменитый гитарист одобрительно отозвался о его таланте и пригласил его в свою Летнюю школу при музыкальной академии города Сиена, которую Уильямс посещал несколько лет.
Вскоре Уильямс поступил в Королевский музыкальный колледж в Лондоне в классы фортепиано и теории музыки (класса гитары в колледже в то время не существовало). Дебют гитариста состоялся в 1958 году в Уигморском зале, затем с большим успехом прошли его концерты в Париже и Мадриде, в октябре 1962 года музыкант посетил с гастролями СССР, а год спустя — Японию и США. С 1960 по 1973 год Уильямс преподавал в Королевском колледже, а с 1973 — в Королевском Северном музыкальном колледже в Манчестере. В последующие годы гитарист сформировал творческие контакты с Джулианом Бримом, Ицхаком Перлманом, Пако Пенья, Андре Превином и другими музыкантами, давал многочисленные концерты и делал записи, возродив интерес, в частности, интерес к музыке парагвайского композитора Агустина Барриоса. В 1973 году Бриму и Уильямсу была присуждена премия «Грэмми» за лучшее классическое камерное исполнение (альбом «Джулиан и Джон»).
Мировая известность пришла к Уильямсу в 1978 году, когда он принял участие в записи музыки Стенли Майерса к фильму «Охотник на оленей», получившего премию «Оскар». Год спустя гитарист основал арт-рок-группу «Sky», в которой играл пять лет и записал несколько альбомов. Его следующий коллектив «John Williams and Friends» также пользовался большой популярностью и много гастролировал во второй половине 1980-х годов. В начале 1990-х после концертного тура по США Уильямс организует группу «Attacca», играющую современную музыку, написанную специально для этого коллектива. Гитарист также продолжает свою сольную карьеру, ведёт активную концертную деятельность в Европе, Азии, США, Австралии, делает многочисленные записи (количество записанных им дисков приближается к 100). Уильямс — рыцарь Ордена Британской Империи (1980), кавалер Австралийского ордена (1987), почётный доктор Лондонского и Манчестерского королевских музыкальных колледжей.