Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Методы усеченного Ньютона , также известные как Гесс свободной оптимизация , [1] представляют собой семейство алгоритмов оптимизации , предназначенные для оптимизации нелинейных функций с большим числом независимых переменными . Усеченный метод Ньютона состоит из повторного применения итеративного алгоритма оптимизации для приближенного решения уравнений Ньютона для определения обновления параметров функции. Внутренний решатель усечен , т. Е. Выполняется только ограниченное количество итераций. Отсюда следует, что для работы усеченных методов Ньютона внутренний решатель должен производить хорошее приближение за конечное число итераций; [2] сопряженный градиентбыл предложен и оценен как потенциальный внутренний цикл. [1] Еще одним предварительным условием является хорошая предварительная подготовка внутреннего алгоритма. [3]

Ссылки [ править ]

  1. ^ a b Мартенс, Джеймс (2010). Глубокое обучение с помощью оптимизации без Hessian (PDF) . Proc. Международная конференция по машинному обучению .
  2. ^ Нэш, Стивен Г. (2000). «Обзор методов усеченного Ньютона» . Журнал вычислительной и прикладной математики . 124 (1–2): 45–59. DOI : 10.1016 / S0377-0427 (00) 00426-X .
  3. ^ Нэш, Стивен Г. (1985). «Предварительная подготовка методов усеченного Ньютона» (PDF) . SIAM J. Sci. Стат. Comput . 6 (3): 599–616.

Дальнейшее чтение [ править ]

  • Grippo, L .; Lampariello, F .; Люциди, С. (1989). «Усеченный метод Ньютона с поиском немонотонной линии для неограниченной оптимизации». J. Теория оптимизации и приложения . 60 (3). CiteSeerX  10.1.1.455.7495 .
  • Нэш, Стивен Дж .; Нокедаль, Хорхе (1991). «Численное исследование метода BFGS с ограниченной памятью и метода усеченного Ньютона для крупномасштабной оптимизации». SIAM J. Optim . 1 (3): 358–372. CiteSeerX  10.1.1.474.3400 .


  • v
  • т
  • е