Алгоритм Левенберга — Марквардта

---

Алгоритм Левенберга — Марквардта — метод оптимизации, направленный на решение задач о наименьших квадратах. Является альтернативой методу Ньютона. Может рассматриваться как комбинация последнего с методом градиентного спуска или как метод доверительных областей^[1] (Марквард, стр 492). Алгоритм был сформулирован независимо Левенбергом (1944) и Марквардтом (1963).

где ${\displaystyle J({\vec {x}})}$ — матрица Якоби вектор-функции ${\displaystyle {\vec {f}}({\vec {x}})}$, ${\displaystyle H_{i}({\vec {x}})}$ — матрица Гессе для её компоненты ${\displaystyle f_{i}({\vec {x}})}$.

---