Острог основан 27 сентября 1665 года на правом берегу Селенги, в 6,5 километрах ниже места впадения в неё реки Чикой, Гаврилой Ловцовым, Осипом Васильевым и служилыми людьми Баргузинского, Братского, Балаганского и Иркутского острогов по приказу нерчинского воеводы Лариона Толбузина.
Острог имел стены высотой 5,8 м, длиной по периметру в 128 м, одну проезжую башню, 4 угловые башни размерами 7,5 х 7,5 м, ров, чеснок и надолбы. Над проезжими воротами размещалась часовня с образом Михаила Архангела. В одной из башен находилось тёплое караульное помещение.
Рядом с острогом была построена церковь во имя Спаса Нерукотворного образа с тремя престолами. В слободе располагалась 21 изба, ниже по течению Селенги — заимка с шестью дворами. По сведениям Николая Спафария в 1675 году рядом с Селенгинским острогом стояло тридцать изб, в них жило более двести человек, которые занимались рыболовством и огородничеством[1].
В 1665 году через Селенгинск проследовало в Москву посольство монгольского Сэцэн-хана Бабы, в 1668 году — миссия И. Перфильева. По описанию С. Полякова, участника похода Ерофея Хабарова, к 1672 году с севера, востока и юга острог обнесли новыми стенами, удлинив прибрежную.
В период обострения обстановки на границах в 1685 году острог заменили деревянной крепостью — «городом», имевшим стены высотой 5,3 метра. В юго-западном углу была возведена трёхпрестольная многоглавая шатровая Спасская церковь высотой 32 метра. Над воротами была построена часовня с образом Михаила Архангела.
В 1688 году в Селенгинском остроге в осаде оказался посол Фёдор Головин. Крепость была осаждена пятитысячным войском монгольского Тушэту-хана. Гарнизон острога состоял из 294 человек, вооружённых шестью пищалями и мушкетами. Командовал обороной ссыльный украинский гетман Демьян Многогрешный.