Замок был основан в конце 1060-х годов Гуго де Гранмеснилем — одним из соратников короля Англии Вильгельма Завоевателя[1]. В первые годы после нормандского завоевания 1066 года положение нормандцев в Англии было неустойчивым. Чтобы обеспечить контроль над территорией королевства, Вильгельм Завоеватель приказывал в стратегически важных точках королевства строить замки, которые сыграли ключевую роль в удержании завоёванной территории[2]. Одним из таких замков стал Лестер, построенный на возвышении в юго-западном углу города Лестер с видом на реку Сор. Первый замок был классическим нормандским мотт и бейли, состоявшим из оборонительного вала овальной формы и рва, поверх земляного вала располагался частокол. Внутри располагались колодец, многочисленные деревянные сооружения (включая главный зал), древняя англосаксонская церковь Святой Марии де Кастро, оружейный склад, конюшня и кухня. К юго-западу от построек располагался холм, который венчала деревянная башня. В настоящее время никаких следов деревянных сооружений не сохранилось, кроме мостика высотой в 9 метров и шириной у основания 30,5 метров, на котором стояла деревянная цитадель[1][3].
Позже посредством брака замок перешёл к роду Бомонов. В середине XII века Роберт де Бомон, 2-й граф Лестер, начал перестраивать деревянный замок в каменный. Он заменил деревянные стены на каменные, встроенные во внешнюю сторону вала. Также деревянные церковь и главный зал были заменены на каменные здания. Первая каменная церковь Святой Марии де Кастро была значительно меньше современной (в XIV веке к ней был добавлен тонкий шпиль). Она была богато украшена. Некоторые внешние детали этих украшений до сих пор сохранились в качестве элементов интерьера. Большой зал XII века служит ядром современного зала замка. Кроме каменных стен была крыша, которая поддерживалась двумя рядами деревянных столбов, которые делили зал на 3 части. Главная часть ориентирована с севера на юг, кроме того, есть проходы на восток и запад. Часть оригинальной кладки XII века и фрагменты деревянных столбов сохранились до настоящего времени. При этом неизвестно, была ли деревянная башня заменена на каменную[4][3].
Следующую перестройку замка осуществил в 1331 году Генри Плантагенет, 3-й граф Ланкастер и Лестер, который для ухода за больными и немощными города Лестера построил больницу Благовещения Пресвятой Богородицы (позже — больница Троицы). К тому моменту замок потерял своё стратегическое значение и стал обычной феодальной резиденцией. Больница расположилась к югу от замка в пределах 20 метров от него и представляла собой церковь на востоке с прилегающими к ней помещениями на западе. Возглавлял её хранитель, в подчинении которого находились 4 капеллана и 5 медсестёр[5].