Балтей находится в проливе Балта-Саунд[англ.] у восточного побережья острова Анст. Остров узкий, вытянут с севера на юг, его площадь составляет 80 гектаров (0,8 км²)[1]. Побережье преимущественно скалистое. На восточной стороне Балтея находится естественная арка. Высшая точка острова — 44 метра.
На острове находятся руины католической норвежской часовни, посвящённой Сунниве. Данных о более позднем проживании людей на острове нет[2].
Джон Маккаллох посетил Балтей в мае 1820 года для проведения военно-тригонометрической съёмки. Балтей был самой северной станцией зенитного сектора[3].
Балтейский маяк на южной оконечности острова был одним из первых бетонных сооружений на Шетландских островах. Маяк был спроектирован Дэвидом Стивенсоном и построен в 1895 году. В 2003 году он был снесен и заменен небольшим фонарем, работающим на солнечной энергии[4].