Функция потерь

В математической оптимизации и теории принятия решений , функция потерь или функция затрат является функцией , которая отображает события или значения одного или несколько переменных на вещественное число интуитивно , представляющее некоторые «стоимость» , связанную с событием. Задача оптимизации стремится к минимизации функции потерь. Целевая функция является либо функцией потерь или его отрицательным (в определенных областях, по- разному называется функция вознаграждения , а функция прибыли , а функция полезности , в функции пригодности и т.д.), в этом случае он должен быть максимальными.

В статистике обычно для оценки параметров используется функция потерь , а рассматриваемое событие является некоторой функцией разницы между оценочными и истинными значениями для экземпляра данных. Эта старая, как Лаплас , концепция была вновь введена в статистику Абрахамом Вальдом в середине 20 века. ^[1] В контексте экономики , например, это обычно экономические издержки или сожаление . В классификации это штраф за неправильную классификацию примера. В актуарной науке он используется в контексте страхования для моделирования выплат, выплачиваемых сверх страховых взносов, особенно потому, что работыХаральд Крамер в 1920-е годы. ^[2] При оптимальном управлении потеря - это штраф за неспособность достичь желаемого значения. В управлении финансовыми рисками функция отображается на денежный убыток.

В классической статистике (как частотной, так и байесовской) функция потерь обычно рассматривается как нечто вроде фонового математического соглашения.

Примеры [ править ]

Сожаление [ править ]

Леонард Дж. Сэвидж утверждал, что при использовании небайесовских методов, таких как минимакс , функция потерь должна основываться на идее сожаления , т. Е. Потеря, связанная с решением, должна быть разницей между последствиями лучшего решения, которое могло быть принято. если бы были известны основные обстоятельства дела и решение, которое было фактически принято до того, как они стали известны.

Квадратичная функция потерь [ править ]

Часто используется квадратичная функция потерь, например, при использовании метода наименьших квадратов . Часто она более математически поддается обработке, чем другие функции потерь из-за свойств дисперсии , а также из-за того , что она симметрична: ошибка выше целевого значения вызывает такие же потери, как и такая же величина ошибки ниже целевого значения. Если целью является t , то квадратичная функция потерь равна

{\ Displaystyle \ лямбда (х) = С (тх) ^ {2} \;}

для некоторой константы C ; значение константы не влияет на решение и может быть проигнорировано, установив его равным 1.

Многие общие статистические данные , включая t-тесты , регрессионные модели, план экспериментов и многое другое, используют методы наименьших квадратов, применяемые с использованием теории линейной регрессии , которая основана на квадратичной функции потерь.

Квадратичная функция потерь также используется в линейно-квадратичных задачах оптимального управления . В этих задачах, даже при отсутствии неопределенности, может оказаться невозможным достичь желаемых значений всех целевых переменных. Часто потери выражаются квадратичной формой отклонений интересующих переменных от их желаемых значений; этот подход приемлем, поскольку он приводит к линейным условиям первого порядка . В контексте стохастического управления используется математическое ожидание квадратичной формы.

0-1 функция потерь [ править ]

В статистике и теории принятия решений часто используемой функцией потерь является функция потерь 0-1.

{\ displaystyle L ({\ hat {y}}, y) = I ({\ hat {y}} \ neq y), \,}

где - индикаторная функция . ${\ displaystyle I}$

Построение функций потерь и целей [ править ]

Во многих приложениях целевые функции, включая функции потерь как частный случай, определяются постановкой задачи. В других ситуациях предпочтение лица, принимающего решения, должно быть выявлено и представлено скалярной функцией. Существующие методы построения целевых функций собраны в трудах двух специализированных конференций. ^[3]^[4] Андраник Тангян разработал и изучил методы построения наиболее используемых типов целевых функций - квадратичных и аддитивных - на основе опроса лиц, принимающих решения . ^[5]^[6]

Ожидаемая потеря [ править ]

В некоторых контекстах, значение самой функции потерь является случайной величиной , поскольку она зависит от результатов случайной величины X .

Статистика [ править ]

Как частотная, так и байесовская статистическая теория предполагают принятие решения на основе ожидаемого значения функции потерь; однако в этих двух парадигмах эта величина определяется по-разному.

Ожидаемый убыток Frequentist [ править ]

Сначала мы определяем ожидаемые потери в частотном контексте. Это достигается путем принятия ожидаемого значения относительно распределения вероятностей, P & _thetas , наблюдаемых данных, X . Это также называется функцией риска ^[7]^[8]^[9]^[10] решающего правила δ и параметра θ . Здесь правило принятия решения зависит от исхода X . Функция риска определяется следующим образом:

{\ Displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {\ theta} L {\ big (} \ theta, \ delta (X) {\ big)} = \ int _ {X} L { \ big (} \ theta, \ delta (x) {\ big)} \, \ mathrm {d} P _ {\ theta} (x).}

Здесь θ - фиксированное, но, возможно, неизвестное состояние природы, X - вектор наблюдений, стохастически извлеченный из совокупности , - математическое ожидание по всем значениям совокупности X , dP _θ - мера вероятности в пространстве событий X (параметризованная θ ) , а интеграл вычисляется по всей поддержке в X . ${\ displaystyle \ operatorname {E} _ {\ theta}}$

Байесовские ожидаемые потери [ править ]

В байесовском подходе математическое ожидание вычисляется с использованием апостериорного распределения $π$ ^* параметра θ :

{\ displaystyle \ rho (\ pi ^ {*}, a) = \ int _ {\ Theta} L (\ theta, a) \, \ mathrm {d} \ pi ^ {*} (\ theta).}

Затем следует выбрать действие a ^*, которое минимизирует ожидаемые убытки. Хотя это приведет к выбору того же действия, которое было бы выбрано с использованием частотного риска, акцент байесовского подхода заключается в том, что каждый заинтересован только в выборе оптимального действия в соответствии с фактическими наблюдаемыми данными, в то время как выбор фактического частотного оптимального правила принятия решения, которая является функцией всех возможных наблюдений, является гораздо более сложной проблемой.

Примеры в статистике [ править ]

Для скалярного параметра θ решающая функция, выходом которой является оценка θ , и квадратичная функция потерь ( квадратичная потеря ошибок ) ${\ displaystyle {\ hat {\ theta}}}$

{\ displaystyle L (\ theta, {\ hat {\ theta}}) = (\ theta - {\ hat {\ theta}}) ^ {2},}

функция риска становится среднеквадратической ошибкой оценки,

{\ displaystyle R (\ theta, {\ hat {\ theta}}) = \ operatorname {E} _ {\ theta} (\ theta - {\ hat {\ theta}}) ^ {2}.}

При оценке плотности неизвестным параметром является сама плотность вероятности . Функция потерь обычно выбирается как норма в соответствующем функциональном пространстве . Например, для нормы L 2 ,

{\ Displaystyle L (е, {\ шляпа {f}}) = \ | е - {\ шляпа {f}} \ | _ {2} ^ {2} \ ,,}

функция риска становится средним интегрированным квадратом ошибки

R(f,{\hat {f}})=\operatorname {E} \|f-{\hat {f}}\|^{2}.\,

Экономический выбор в условиях неопределенности [ править ]

В экономике принятие решений в условиях неопределенности часто моделируется с использованием функции полезности фон Неймана – Моргенштерна для неопределенной переменной, представляющей интерес, такой как богатство на конец периода. Поскольку значение этой переменной является неопределенным, неопределенным является и значение функции полезности; это ожидаемое значение полезности, которое максимизируется.

Правила принятия решений [ править ]

Правило принятия решений делает выбор , используя критерий оптимальности. Некоторые часто используемые критерии:

Минимакс : выберите правило принятия решения с наименьшими наихудшими потерями, то есть минимизируйте наихудшие (максимально возможные) потери:

{\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).

Инвариантность : выберите оптимальное правило принятия решения, которое удовлетворяет требованию инвариантности.
Выберите правило принятия решения с наименьшими средними потерями (т.е. минимизируйте ожидаемое значение функции потерь):

{\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .

Выбор функции потерь [ править ]

Надежная статистическая практика требует выбора оценщика, соответствующего фактическим допустимым отклонениям, наблюдаемым в контексте конкретной прикладной проблемы. Таким образом, при прикладном использовании функций потерь выбор статистического метода для моделирования прикладной проблемы зависит от знания потерь, которые будут понесены из-за неправильности в конкретных обстоятельствах проблемы. ^[11]

Типичный пример включает оценку « местоположения ». При типичных статистических допущениях среднее или среднее - это статистика для оценки местоположения, которая минимизирует ожидаемые потери при использовании функции потерь квадратичной ошибки , в то время как медиана - это оценка, которая минимизирует ожидаемые потери, возникающие при использовании функции потерь абсолютной разницы. Тем не менее, другие оценки были бы оптимальными в других, менее распространенных обстоятельствах.

В экономике, когда агент нейтрален к риску , целевая функция просто выражается как ожидаемое значение денежной величины, такой как прибыль, доход или богатство на конец периода. Для агентов, не склонных к риску или любящих риск , убыток измеряется как отрицательное значение функции полезности , а целевая функция, которая должна быть оптимизирована, представляет собой ожидаемое значение полезности.

Возможны и другие меры стоимости, например смертность или заболеваемость в области общественного здравоохранения или техники безопасности .

Для большинства алгоритмов оптимизации желательно иметь глобально непрерывную и дифференцируемую функцию потерь .

Два очень часто используемые функции потерь являются квадратом потери , и абсолютная потеря , . Однако абсолютная потеря имеет тот недостаток, что ее нельзя дифференцировать . Квадрат потерь имеет недостаток, заключающийся в том, что в нем преобладают выбросы - при суммировании по набору значений (как в ) окончательная сумма имеет тенденцию быть результатом нескольких особенно больших a- значений, а не выражение среднего a -значения. $L(a)=a^{2}$ $L(a)=|a|$ $a=0$ $a$ $\sum _{i=1}^{n}L(a_{i})$

Выбор функции потерь не является произвольным. Он очень ограничен, и иногда функция потерь может характеризоваться своими желательными свойствами. ^[12] Среди принципов выбора можно выделить, например, требование полноты класса симметричной статистики в случае iid- наблюдений, принцип полной информации и некоторые другие.

В. Эдвардс Деминг и Нассим Николас Талебутверждают, что эмпирическая реальность, а не хорошие математические свойства, должна быть единственной основой для выбора функций потерь, а реальные потери часто не являются математически точными и не дифференцируемыми, непрерывными, симметричными и т. д. Например, человек, который прибывает раньше закрытие ворот все еще может сделать самолет, но человек, который прибывает после, не может, прерывистость и асимметрия, которые делают прибытие с небольшим опозданием намного более дорогостоящим, чем прибытие с небольшим опозданием. При дозировании лекарств стоимость слишком небольшого количества лекарства может быть недостаточной, в то время как цена слишком большого количества может быть переносимой токсичностью, еще одним примером асимметрии. Движение, трубы, балки, экология, климат и т. Д. Могут выдерживать повышенную нагрузку или напряжение с небольшими заметными изменениями до определенного момента, а затем становятся резервными или катастрофически ломаются. Эти ситуации, утверждают Деминг и Талеб,распространены в реальных задачах, возможно, более распространены, чем классические гладкие, непрерывные, симметричные, дифференциальные случаи.^[13]

См. Также [ править ]

Байесовское сожаление
Функции потерь для классификации
Дисконтированный максимальный убыток
Потеря шарнира
Правило подсчета очков
Статистический риск

Ссылки [ править ]

^ Вальд, А. (1950). Статистические функции принятия решений . Вайли.
^ Крамера, H. (1930). По математической теории риска . Centraltryckeriet .
^ Тангиан, Андраник; Грубер, Йозеф (редакторы) (1997). Построение скалярных целевых функций . Берлин: Springer.CS1 maint: extra text: authors list (link)
^ Тангиан, Андраник; Грубер, Йозеф (редакторы) (2002). Построение и применение целевых функций . Берлин: Springer.CS1 maint: extra text: authors list (link)
^ Tangian Андраник (2002). «Построение квазивогнутой квадратичной целевой функции из интервью с лицом, принимающим решения». Европейский журнал операционных исследований . 141 (3): 608–640.
^ Tangian Андраник (2004). «Модель для обычного построения аддитивных целевых функций». Европейский журнал операционных исследований . 159 (2): 476–512.
^ Никулин, М.С. (2001) [1994], "Риск статистической процедуры" , Энциклопедия математики , EMS Press
^ Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .
^ ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека Wiley Classics. ISBN 978-0-471-68029-1. Руководство по ремонту 2288194 .
^ Роберт, Кристиан П. (2007). Байесовский выбор . Тексты Springer в статистике (2-е изд.). Нью-Йорк: Спрингер. DOI : 10.1007 / 0-387-71599-1 . ISBN 978-0-387-95231-4. Руководство по ремонту 1835885 .
^ Pfanzagl, J. (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 978-3-11-013863-4.
^ Подробная информация о математических принципах выбора функции потерь дана в главе 2 книги Клебанов Б .; Рачев, Светлозат Т .; Фабоцци, Фрэнк Дж. (2009). Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific Publishers, Inc. (и ссылки там).
^ Деминг, У. Эдвардс (2000). Выйти из кризиса . MIT Press. ISBN 9780262541152.

Дальнейшее чтение [ править ]

Арец, Кевин; Bartram, Söhnke M .; Папа, Петр Ф. (апрель – июнь 2011 г.). «Асимметричные функции потерь и рациональность ожидаемой доходности акций». Международный журнал прогнозирования . 27 (2): 413–437. DOI : 10.1016 / j.ijforecast.2009.10.008 . SSRN 889323 .
Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .

Чеккетти, С. (2000). «Формирование денежно-кредитной политики: цели и правила» . Оксфордский обзор экономической политики . 16 (4): 43–59. DOI : 10.1093 / oxrep / 16.4.43 .

Горовиц, Энн Р. (1987). «Убыточные функции и публичный порядок». Журнал макроэкономики . 9 (4): 489–504. DOI : 10.1016 / 0164-0704 (87) 90016-4 .

Во, Роджер Н. (1976). «Асимметричные полезные функции разработчика политики и оптимальная политика в условиях неопределенности». Econometrica . 44 (1): 53–66. DOI : 10.2307 / 1911380 . JSTOR 1911380 .

[1] Вальд, А. (1950). Статистические функции принятия решений . Вайли.

[2] Крамера, H. (1930). По математической теории риска . Centraltryckeriet .

[TangianGruber1997-3] Тангиан, Андраник; Грубер, Йозеф (редакторы) (1997). Построение скалярных целевых функций . Берлин: Springer.CS1 maint: extra text: authors list (link)

[TangianGruber2002-4] Тангиан, Андраник; Грубер, Йозеф (редакторы) (2002). Построение и применение целевых функций . Берлин: Springer.CS1 maint: extra text: authors list (link)

[Tangian2002-5] Tangian Андраник (2002). «Построение квазивогнутой квадратичной целевой функции из интервью с лицом, принимающим решения». Европейский журнал операционных исследований . 141 (3): 608–640.

[Tangian2004-6] Tangian Андраник (2004). «Модель для обычного построения аддитивных целевых функций». Европейский журнал операционных исследований . 159 (2): 476–512.

[7] Никулин, М.С. (2001) [1994], "Риск статистической процедуры" , Энциклопедия математики , EMS Press

[8] Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .

[9] ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека Wiley Classics. ISBN 978-0-471-68029-1. Руководство по ремонту 2288194 .

[10] Роберт, Кристиан П. (2007). Байесовский выбор . Тексты Springer в статистике (2-е изд.). Нью-Йорк: Спрингер. DOI : 10.1007 / 0-387-71599-1 . ISBN 978-0-387-95231-4. Руководство по ремонту 1835885 .

[11] Pfanzagl, J. (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 978-3-11-013863-4.

[12] Подробная информация о математических принципах выбора функции потерь дана в главе 2 книги Клебанов Б .; Рачев, Светлозат Т .; Фабоцци, Фрэнк Дж. (2009). Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific Publishers, Inc. (и ссылки там).

[13] Деминг, У. Эдвардс (2000). Выйти из кризиса . MIT Press. ISBN 9780262541152.

[1]