Скарборо упоминается в сагах викингов — в «Саге о Кормаке» (Kormakssaga) встречается название Skarthborg и в «Саге об оркнейцах» (Orkneyingasaga) говорится о Skarthabork.
«Сага о Кормаке» повествует о том, как два брата-викинга, Торгильс и Кормак, совершили набег на Ирландию и Англию и заложили на английском побережье цитадель. У Торгильса было прозвище «Заячья губа» — Skarthi. Вторая часть названия, borough, то есть «небольшой город», происходит от скандинавского слова borg («цитадель»); соответственно Скарборо — это цитадель Скарти.
Замок был построен около 1130 года Вильгельмом Толстым, графом Омальским. В середине XII века Скарборо захватил король Генрих II, который построил донжон и превратил замок в королевскую резиденцию. Короли Иоанн Безземельный, Генрих III и Эдуард Длинноногий также возводили дополнительные постройки в замке. Около 1312 года Эдуард II даровал замок своему фавориту Пьеру Гавестону, графу Корнуэлльскому. Гавестон был непопулярной личностью в среде высшей знати, поэтому вскоре Скарборо был осаждён, а фаворит пленён баронами и отправлен в Оксфорд на казнь.
Это была не последняя осада в истории Скарборо. В 1538 году замок был осаждён сэром Ральфом Эверсом, во время восстания «Благодатного паломничества» — Робертом Аском, а в 1553 году, во время правления королевы Марии I, Скарборо захватил Томас Стаффорд.
В 1644 году, во время Английской революции, комендант замка сэр Хью Челми принял сторону роялистов и вскоре был вынужден защищать Скарборо, когда его осадили сторонники парламента. В конечном итоге «круглоголовые» в 1645 году взяли замок и назначили комендантом полковника Бойнтона. Однако Бойнтон вскоре перешёл на сторону роялистов, и в результате в 1648 году Скарборо был вновь осаждён и взят армией Кромвеля.