Метод симметричного ранга 1 ( SR1 ) - это квазиньютоновский метод обновления второй производной (гессиана) на основе производных (градиентов), вычисленных в двух точках. Это обобщение метода секущих для многомерной задачи. Это обновление поддерживает симметрию матрицы, но не гарантирует, что обновление будет положительно определенным .
Последовательность приближений Гессе, генерируемая методом SR1, теоретически сходится к истинному гессиану при мягких условиях; На практике приближенные гессианы, полученные методом SR1, показывают более быстрый прогресс в направлении истинного гессиана, чем популярные альтернативы ( BFGS или DFP ) в предварительных численных экспериментах. [1] [2] Метод SR1 имеет вычислительные преимущества для разреженных или частично разделимых задач. [3]
Дважды непрерывно дифференцируемая функция имеет градиент () и матрица Гессе : Функция имеет расширение как ряд Тейлора на, который можно усечь
- ;
его градиент также имеет приближение ряда Тейлора.
- ,
который используется для обновления . Вышеупомянутое секущее уравнение не обязательно должно иметь единственное решение.. Формула SR1 вычисляет (посредством обновления ранга 1) симметричное решение, которое наиболее близко к текущему приближенному значению.:
- ,
где
- .
Соответствующее обновление приближенного обратного гессиана является
- .
Формула SR1 неоднократно открывалась заново. Недостатком является то, что знаменатель может исчезнуть. Некоторые авторы предлагают применять обновление только в том случае, если
- ,
где это небольшое число, например . [4]
Смотрите также
Рекомендации
- ^ Conn, AR; Гулд, НИМ; Toint, Ph. L. (март 1991 г.). «Сходимость квазиньютоновских матриц, порожденных симметричным обновлением ранга один». Математическое программирование . Springer Berlin / Heidelberg. 50 (1): 177–195. DOI : 10.1007 / BF01594934 . ISSN 0025-5610 .
- ^ Халфан, Х. Файез; и другие. (1993). «Теоретическое и экспериментальное исследование симметричного обновления первого ранга». SIAM Journal по оптимизации . 3 (1): 1–24. DOI : 10.1137 / 0803001 .
- ^ Берд, Ричард Х .; и другие. (1996). "Анализ метода симметричной области доверия первого ранга". SIAM Journal по оптимизации . 6 (4): 1025–1039. DOI : 10.1137 / S1052623493252985 .
- ^ Нокедаль, Хорхе; Райт, Стивен Дж. (1999). Численная оптимизация . Springer. ISBN 0-387-98793-2.