В 1625 году король Яков I учредил титул барона Балтимор и пожаловал его Джорджу Калверту, одному из своих приближённых. Его преемником стал старший сын Сесил Калверт, который был бароном до 1675 года.
В 1675 году баронство перешло к Чарльзу Калверту, который также был колониальным губернатором Мэриленда до 1684 года, а через некоторое время вернулся с семьёй на родину, где и умер в возрасте 77 лет. Его сын и наследник Бенедикт был бароном 2 месяца и умер в возрасте 36 лет.
В том же году ему наследовал старший сын Чарльз, который был депутатом парламента и приближённым Фредерика Уэльского. Последним бароном Балтимор был его старший сын Фредерик Калверт, который прославился путешествиями по Европе и любовными похождениями, умер в возрасте 40 лет от лихорадки, не оставив законного наследника. После его смерти титул перешёл в собственность короны.