Тео́рия ха́оса — математический аппарат, описывающий поведение некоторых нелинейных динамических систем, подверженных, при определённых условиях, явлению, известному как хаос (динамический хаос, детерминированный хаос). Поведение такой системы кажется случайным, даже если модель, описывающая систему, является детерминированной. Для акцентирования особого характера изучаемого в рамках этой теории явления обычно принято использовать название теория динамического хаоса.
Примерами подобных систем являются атмосфера, турбулентные потоки, некоторые виды аритмий сердца, биологические популяции, общество как система коммуникаций и его подсистемы: экономические, политические, психологические (культурно-исторические и интер-культуральные) и другие социальные системы. Их изучение, наряду с аналитическим исследованием имеющихся рекуррентных соотношений, обычно сопровождается математическим моделированием.
Теория хаоса подразумевает, что сложные системы чрезвычайно зависимы от первоначальных условий, и небольшие изменения в окружающей среде могут привести к непредсказуемым последствиям.
Математические системы с хаотическим поведением являются детерминированными, то есть подчиняются некоторому строгому закону, и, в некотором смысле, являются упорядоченными. Такое использование слова «хаос» отличается от его обычного значения (см. хаос в мифологии). Отдельная область физики — теория квантового хаоса — изучает недетерминированные системы, подчиняющиеся законам квантовой механики.
Пионерами теории считаются французский физик и философ Анри Пуанкаре (доказал теорему о возвращении), советские математики А. Н. Колмогоров и В. И. Арнольд и немецкий математик Ю. К. Мозер, построившие теорию хаоса, называемую КАМ (теория Колмогорова — Арнольда — Мозера). Теория вводит понятие аттракторов (в том числе, странных аттракторов как притягивающих канторовых структур), устойчивых орбит системы (т. н. КАМ-торов).
В бытовом контексте слово «хаос» означает «быть в состоянии беспорядка». В теории хаоса прилагательное хаотический определено более точно. Хотя общепринятого универсального математического определения хаоса нет, обычно используемое определение говорит, что динамическая система, которая классифицируется как хаотическая, должна иметь следующие свойства: