Берндт-Холл-Холл-Хаусман ( BHHH ) алгоритм является численная оптимизация алгоритма аналогичен алгоритму Ньютона-Рафсона , но он заменяет наблюдаемую негативную матрицу Гессе с внешнего произведения из градиента . Это приближение основано на равенстве информационных матриц и, следовательно, действительно только при максимизации функции правдоподобия . [1] Алгоритм BHHH назван в честь четырех создателей: Эрнста Р. Берндта , Бронуин Холла , Роберта Холла иДжерри Хаусман . [2]
Применение
Если к данным подбирается нелинейная модель, часто необходимо оценивать коэффициенты посредством оптимизации . Ряд алгоритмов оптимизации имеют следующую общую структуру. Предположим, что оптимизируемая функция - это Q ( β ). Тогда алгоритмы являются итеративными, определяя последовательность приближений β k, заданную формулой
- ,
где - оценка параметра на шаге k, а - параметр (называемый размером шага), который частично определяет конкретный алгоритм. Для алгоритма BHHH λ k определяется путем вычислений в рамках данного итеративного шага, включая поиск строки до тех пор, пока не будет найдена точка β k +1, удовлетворяющая определенным критериям. Кроме того, для алгоритма BHHH Q имеет вид
и A рассчитывается с использованием
В других случаях, например, Ньютона – Рафсона ,могут иметь другие формы. Алгоритм BHHH имеет то преимущество, что при выполнении определенных условий сходимость итерационной процедуры гарантируется. [ необходима цитата ]
Смотрите также
Рекомендации
- ^ Хеннингсен, А .; Тумет, О. (2011). «maxLik: Пакет для оценки максимального правдоподобия в R». Вычислительная статистика . 26 (3): 443–458 [стр. 450]. DOI : 10.1007 / s00180-010-0217-1 .
- ^ Berndt, E .; Холл, Б .; Холл, р .; Хаусман Дж. (1974). «Оценка и вывод в нелинейных структурных моделях» (PDF) . Анналы экономических и социальных измерений . 3 (4): 653–665.
дальнейшее чтение
- В. Мартин, С. Херн и Д. Харрис, Эконометрическое моделирование с использованием временных рядов , Глава 3 «Методы численного оценивания». Издательство Кембриджского университета, 2015.
- Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. С. 137–138 . ISBN 0-674-00560-0.
- Gill, P .; Мюррей, В .; Райт, М. (1981). Практическая оптимизация . Лондон: Харкорт Брейс.
- Гурье, Кристиан; Монфорт, Ален (1995). «Градиентные методы и оценка машинного обучения» . Статистика и эконометрические модели . Нью-Йорк: Издательство Кембриджского университета. С. 452–458. ISBN 0-521-40551-3.
- Харви, AC (1990). Эконометрический анализ временных рядов (второе изд.). Кембридж: MIT Press. С. 137–138. ISBN 0-262-08189-X.