Теория устойчивости — техническая и физико-математическая дисциплина, изучающая закономерности поведения систем под действием внешних воздействий.
В аналитическом аспекте является разделом теории дифференциальных уравнений. В прикладном аспекте наибольшее развитие получила теория устойчивости механических систем, поскольку именно механика, как старейшая наука, впервые столкнулась с проблемами устойчивости. Эйлер впервые строго поставил и решил задачу устойчивости состояния равновесия механический системы — стержня, сжатого сжимающей силой (эластика Эйлера).
В наиболее общем виде теория устойчивости была разработана А. М. Ляпуновым, сформулировавшим и доказавшим основные теоремы теории устойчивости движения. Ляпунов по праву считается создателем теории устойчивости. В порядке развития теории основные общие критерии устойчивости, вытекающие из работ А. М. Ляпунова и математического принципа аргумента, сформулированы Михайловым, Найквистом, Гурвицем, Вышнеградским и др. математиками.
Важной частью теории устойчивости является проблема аналитического и практического определения запасов устойчивости сложных (многокомпонентных, динамических, разнофакторных) систем и процессов. В этой части теории устойчивости особую актуальность с развитием сложной техники приобрели задачи диагностирования и прогнозирования запасов устойчивости процессов, связанных с эксплуатацией больших технических систем. Такого рода различные прикладные задачи, связанные с теорией устойчивости двухфазных потоков — в развитие теории устойчивости в её технических приложениях, — рассмотрены и решены И. И. Морозовым, В. И. Герлигой, А. В. Королевым, А. Ю. Погосовым, В. И. Скалозубовым и др. исследователями, работающими над новыми аспектами адаптации теории устойчивости к современным техническим объектам.