Направление спуска

В оптимизации , направление спуска является вектором , что в нижеприведенном смысле приближает нас в направлении локального минимума нашей целевой функции .${\ displaystyle \ mathbf {p} \ in \ mathbb {R} ^ {n}}$${\ Displaystyle \ mathbf {х} ^ {*}}$${\ displaystyle f: \ mathbb {R} ^ {n} \ to \ mathbb {R}}$

Предположим, мы выполняем вычисления итеративным методом, например поиском по строкам . Мы определяем направление спуска на th итерации как любое такое, что , где обозначает внутренний продукт . Мотивация для такого подхода заключается в том, что небольшие шаги по пути гарантируют, что теорема Тейлора уменьшает .${\ Displaystyle \ mathbf {х} ^ {*}}$${\ displaystyle \ mathbf {p} _ {k} \ in \ mathbb {R} ^ {n}}$${\ displaystyle k}$${\ displaystyle \ mathbf {p} _ {k}}$${\ displaystyle \ langle \ mathbf {p} _ {k}, \ nabla f (\ mathbf {x} _ {k}) \ rangle <0}$${\ Displaystyle \ langle, \ rangle}$${\ displaystyle \ mathbf {p} _ {k}}$${\ displaystyle \ displaystyle f}$

Используя это определение, отрицательное значение ненулевого градиента всегда является направлением спуска, так как .${\ displaystyle \ langle - \ nabla f (\ mathbf {x} _ {k}), \ nabla f (\ mathbf {x} _ {k}) \ rangle = - \ langle \ nabla f (\ mathbf {x} _ {k}), \ nabla f (\ mathbf {x} _ {k}) \ rangle <0}$

Существует множество методов для вычисления направлений спуска, и все они имеют разные достоинства. Например, можно использовать градиентный спуск или метод сопряженного градиента .

В более общем смысле, если - положительно определенная матрица, то это направление спуска в . ^[1] Эта универсальность используется в методах предварительно обусловленного градиентного спуска .${\ displaystyle P}$${\displaystyle p_{k}=-P\nabla f(x_{k})}$${\displaystyle x_{k}}$

См. Также [ править ]

• Производная по направлению

Ссылки [ править ]