Согласно распространённой гипотезе, самым первым поселением на территории Брянска являлось славянское поселение на Чашином кургане, являвшееся перевалочной и опорной базой во время булгарского и хазарского походов Владимира Святославича. Оно расположено на правом берегу Десны напротив устья Болвы.
В XII или XIII веке на Покровской горе, возвышающейся на 50 м над Десной, был выстроен новый рубленый детинец треугольной формы. К нему примыкал окольный город трапециевидной формы, обнесённый дубовыми стенами. Оборонную мощь крепости дополняли 15 деревянных башен. С напольной стороны город защищали ров и вал. С юга и запада естественными преградами служили крутые береговые склоны Десны и её притока Верхнего Судка. После разорения Чернигова монголами к Брянску переходит роль центра Черниговского княжества и Черниговской епархии. В 1310 году Брянск был осаждён и взят ордынцами, а в 1356 году захвачен Великим княжеством Литовским. С 1500 года в составе централизованного Русского государства. В начале 1607 года укрепления на Покровской горе были сожжены отступающими от отрядов Лжедмитрия II царскими воеводами, но затем были ими восстановлены и выдержали осаду. Не раз на город в Смутное время нападали и польские отряды, однако он отбивался.
В правление Алексея Михайловича Брянский кремль («Старый город») был обновлён. К концу XVII века его окружали рубленые дубовые стены, протяжённость которых доходила до 1 км, а высота — до 10 м. Их усиливали девять башен высотой около 20 м. Две башни (Никольская и Судковская) были проездными. Окольный город («Новый город») имел деревянные стены с семью башнями высотой до 17 м. Перед крепостью был насыпан высокий земляной вал протяжённостью 950 м, на котором установили два небольших бастиона, вооружённых пушками. В кремле находился Покровский собор, давший название всей горе.
В период Северной войны по указу Петра I крепость была приведена в боевую готовность инженером Василием Корчминым. Она была снаряжена 40 пушками и 12 мортирами. Вдоль крепостной ограды были построены редутцы. Однако в ходе войны она оказалась невостребованной и в дальнейшем утратила свою оборонительную роль.
В настоящее время на Покровской горе на месте кремля находится Памятник 1000-летию Брянска. В Брянском государственном краеведческом музее есть макет Брянского кремля и окольного города.