Учился в Александро-Невской духовной семинарии, 5 октября 1782 года направлен оттуда в Санкт-Петербургскую учительскую семинарию, где проучился только 3 месяца.
9 января 1783 года был назначен преподавателем в Исаакиевское народном училище в Петербурге, а 25 апреля переведён учителем «сначала российского чтения, писания, грамматики, арифметики, а наконец, переводам с французского на российский язык» в Воспитательное общество благородных девиц (Смольный институт). С 20 марта 1797 также преподавал в «верхних классах» Мещанского училища при Смольном институте.
Дослужился до коллежского советника (1800 год). В 1812 году награждён орденом Святого Владимира IV степени. 7 апреля 1816 года вышел в отставку по собственному прошению в связи с плохим здоровьем. Умер в 1821 году.
Литературную деятельность Березайский начал переводами с французского, помещёнными в журнале «Растущий виноград»: переводы из тома 8 «Энциклопедии, или Толкового словаря наук, искусств и ремёсел» — «О врождённом побуждении» («Instinct»; ноябрь 1785) и «О новооткрытом из земли древнем городе Геркулане» («Herculanum», автор — Л. де Жокур; январь 1786); «Ода о восстановлении Карла XII» английского поэта А. Каули (с французского прозаического переложения; февраль 1787). Последний перевод Березайского — книга «Храм бессмертныя славы императора Петра Первого» (СПб., 1789; оригинал: «Le Febure G. Éloge historique de Pierre le Grand Czar, Empereur de toutes lesRussies», Utrecht, 1782). Дополненная по другим источникам дважды отдельно переиздавалась книга о Геркулане («Любопытное открытие города Геркулана…», СПб., 1789; «Открытие, описание и содержание города Геркулана…», 1795).
В 1798 году Березайский издал «Анекдоты древних пошехонцев», благодаря которым установился тип «весёлого пошехонца», остававшийся популярным до начала XX века. Сюжеты о традиционных русских фольклорных дураках и простофилях для анекдотов Березайский брал, подвергая литературной обработке, из русских народных сатирических сказок (волшебные сказки Березайский считал устаревшими и даже вредными), зачастую с международным сюжетом, а также из литературных источников. Березайский использовал в книге много цитат, пословиц, поговорок, прибауток, учёных и литературных аллюзий, приёмы бурлеска. Форма произведения — монологический сказ, тон — балагурство. Речь рассказчика передаёт фонетическую, и, отчасти, морфологическую картину северо-русского диалекта Пошехонья второй половины XVIII века. Ко второму дополненному изданию «Анекдотов» («Анекдоты, или Весёлые похождения старинных пошехонцев»), вышедшему в 1821 году, был приложен сатирический «Забавный словарь», в котором имеются прямые заимствования из других русских произведений этого популярного тогда жанра. Третье издание появилось в 1863 году и повторяло второе. Содержание («посылки», то есть главы):