Группы Матьё — это пять спорадических простых групп, M11[англ.], M12[англ.], M22[англ.], M23[англ.] и M24[англ.], введённые Эмилем Леонардом Матьё[1][2]. Группы являются кратно транзитивными группами перестановок 11, 12, 22, 23 или 24 объектов. Это были первые открытые спорадические группы.
Иногда используются обозначения M9, M10, M20 и M21 для связанных групп (которые действуют на множествах с 9, 10, 20 и 21 точками, соответственно), а именно стабилизаторы точек в бо́льших группах. Хотя они не являются спорадическими простыми группами, они являются подгруппами бо́льших групп и могут быть использованы для их построения. Джон Конвей показал, что можно продолжить эту последовательность, получая группоид Матьё[англ.] M13, действующий на 13 точек. M21 является простой, но не спорадической группой, будучи изоморфной PSL(3,4).
Матьё[3] ввёл группу M12 как часть исследования кратно транзитивных групп перестановок и коротко упомянул (на стр. 274) группу M24, указав её порядок. В статье 1873 года[2] он привёл дополнительные детали, включая явные порождающие множества для этих групп, но группу нелегко увидеть из его аргументов, что сгенерированные группы не просто знакопеременные группы и несколько лет существование групп было под сомнением. Миллер[4] даже опубликовал статью с ошибочным доказательством, что M24 не существует, хотя вскоре после этого в статье 1900 года[5] он признал, что доказательство имело ошибки, и дал доказательство, что группы Матьё просты. Витт[6][7], наконец, прекратил сомнения о существовании этих групп путём построения их как последовательные транзитивные расширения групп перестановок, а также как группы автоморфизмов систем Штейнера.
После групп Матьё не было обнаружено новых спорадических групп до 1965, когда была открыта группа J1[англ.].
Матьё был заинтересован в нахождении кратно транзитивных групп перестановок. Для натурального числа k, группа перестановок G, действующая на n точек, является k-транзитивной, если при задании двух множеств точек a1, … ak и b1, … bk со свойством, что все ai различны и все bi различны, существует элемент g группы G, который отображает ai в bi для всех i от 1 до k. Такая группа называется остро k-транзитивной, если элемент g единственен (то есть действие на k-кортежи регулярно (строго транзитивно), а не просто транзитивно).
Группа M24 5-транзитивна, а группа M12 — остро 5-транзитивна. Другие группы Матьё (простые и не простые), будучи подгруппами, соответствующими стабилизаторам m точек, имеют более низкую транзитивность (M23 4-транзитивна, и т. д.).