В начале 30-х годов, на фоне кризиса коллективизации[1] , обострения хозяйственно-политического кризиса и дальнейшего ужесточения внутрипартийного режима, в ВКП(б) усиливалась оппозиция сталинскому курсу, вновь проявились оппозиционные течения: подпольная организация И. Н. Смирнова, группы Г. И. Сафарова, Н. А. Угланова и многие другие; появились новые нелегальные образования: охарактеризованная Сталиным как «право-левацкий блок» группа С. И. Сырцова — В. В. Ломинадзе, группа А. П. Смирнова — Н. Б. Эйсмонта — В. Н. Толмачёва, группа В. В. Ломинадзе — Э. Стэна и др.[2][3].
В 1932 году в Москве образовалась оппозиционная группа большевиков с дореволюционным стажем во главе с В. Н. Каюровым, известная также как «группа Рютина», хотя сам М. Н. Рютин, к тому времени уже исключённый из партии, формально входить в неё не мог[4]. Но именно к нему, уже известному в партии своим неприятием политики Сталина, группа Каюрова обратилась с просьбой написать программные документы.
Группа Каюрова — Рютина, в состав которой входили в основном сторонники «правых», с самого начала видела свою цель в сплочении всех коммунистов, не приемлющих сталинский курс, и создании широкой оппозиции — на платформе, которая могла бы объединить «правых» и «левых». Написанные Рютиным в мае обращение «Ко всем членам ВКП(б)» (или «Манифест») — краткое изложение платформы и значительно больший по объёму (более 160 страниц машинописного текста) документ под названием «Сталин и кризис пролетарской диктатуры» летом 1932 года распространялись среди членов партии, известных своими оппозиционными взглядами. В Москве с ними были ознакомлены Угланов и представители «бухаринской школы», после поражения правой оппозиции не вернувшиеся вслед за Н. И. Бухариным в русло «генеральной линии»; в Харькове «правые» ознакомили с ними и местных «троцкистов».
Организационное собрание, провозгласившее создание «Союза марксистов-ленинцев», состоялось 21 августа 1932 года под Москвой. Кроме беспартийного Рютина на нём присутствовали 14 коммунистов из Москвы и Харькова, — на следствии Рютин утверждал, что большинство из них «имели за собой единомышленников, взгляды которых они и выражали»[5]. Был избран руководящий орган — Комитет в составе В. Н. Каюрова, М. С. Иванова, П. А. Галкина, В. И. Демидова и П. П. Федорова. Программые документы, написанные Рютиным, были приняты за основу и переданы Комитету на окончательное редактирование.