Функция потерь

В математической оптимизации и теории принятия решений , функция потерь или функцию затрат (иногда называемые также функция ошибки ) ^[1] является функция , которая отображает события или значения одного или несколько переменных на вещественное число интуитивно представляющие некоторые «стоимость» , связанную с событие. Задача оптимизации стремится к минимизации функции потерь. Целевая функция является либо функцией потерь или его отрицательным (в определенных областях, по- разному называется функцией вознаграждения , А функция прибыли , А функция полезности , Aфункция пригодности и т. д.), и в этом случае она должна быть максимизирована.

В статистике обычно для оценки параметров используется функция потерь , а рассматриваемое событие является некоторой функцией разницы между оценочными и истинными значениями для экземпляра данных. Эта старая, как Лаплас , концепция была вновь введена в статистику Абрахамом Вальдом в середине 20 века. ^[2] В контексте экономики , например, это обычно экономическая цена или сожаление . В классификации это штраф за неправильную классификацию примера. В актуарной науке он используется в контексте страхования для моделирования выплат, выплачиваемых сверх премий, особенно потому, что работыХаральд Крамер в 1920-е годы. ^[3] При оптимальном управлении потеря - это штраф за неспособность достичь желаемого значения. В управлении финансовыми рисками функция отображается на денежный убыток.

Примеры

Сожаление

Леонард Дж. Сэвидж утверждал, что при использовании небайесовских методов, таких как минимакс , функция потерь должна основываться на идее сожаления , т. Е. Потеря, связанная с решением, должна быть разницей между последствиями лучшего решения, которое могло быть принято. если бы были известны основные обстоятельства дела и фактическое решение, которое было принято до того, как они стали известны.

Квадратичная функция потерь

Часто используется квадратичная функция потерь, например, при использовании метода наименьших квадратов . Часто она более математически поддается обработке, чем другие функции потерь из-за свойств дисперсии , а также из-за того , что она симметрична: ошибка выше целевого значения вызывает такие же потери, как и такая же величина ошибки ниже целевого значения. Если целью является t , то квадратичная функция потерь равна

{\ Displaystyle \ лямбда (х) = С (тх) ^ {2} \;}

для некоторой константы C ; значение константы не влияет на решение и может быть проигнорировано, установив его равным 1.

Многие общие статистические данные , включая t-тесты , регрессионные модели, план экспериментов и многое другое, используют методы наименьших квадратов, применяемые с использованием теории линейной регрессии , которая основана на квадратичной функции потерь.

Квадратичная функция потерь также используется в линейно-квадратичных задачах оптимального управления . В этих задачах, даже при отсутствии неопределенности, может оказаться невозможным достичь желаемых значений всех целевых переменных. Часто потери выражаются квадратичной формой отклонений интересующих переменных от их желаемых значений; этот подход приемлем, потому что он приводит к линейным условиям первого порядка . В контексте стохастического управления используется математическое ожидание квадратичной формы.

0-1 функция потерь

В статистике и теории принятия решений часто используемой функцией потерь является функция потерь 0-1.

{\ displaystyle L ({\ hat {y}}, y) = I ({\ hat {y}} \ neq y), \,}

куда ${\ displaystyle I}$ - индикаторная функция .

Построение функций потерь и целей

Во многих приложениях целевые функции, включая функции потерь как частный случай, определяются постановкой задачи. В других ситуациях предпочтение лица, принимающего решения, должно быть выявлено и представлено скалярной функцией (называемой также функцией полезности ) в форме, подходящей для оптимизации - проблема, которую Рагнар Фриш выделил в своей лекции о Нобелевской премии. ^[4] Существующие методы построения целевых функций собраны в трудах двух специализированных конференций. ^[5]^[6] В частности, Андраник Тангянпоказал, что наиболее используемые целевые функции - квадратичные и аддитивные - определяются несколькими точками безразличия. Он использовал это свойство в моделях для построения этих целевых функций из порядковых или кардинальных данных, которые были получены с помощью компьютерных интервью с лицами, принимающими решения. ^[7]^[8] Среди прочего, он построил целевые функции для оптимального распределения бюджетов для 16 университетов Вестфалии ^[9] и европейских субсидий для выравнивания уровней безработицы между 271 регионом Германии. ^[10]

Ожидаемая потеря

В некоторых контекстах, величина самой функции потерь является случайной величиной , поскольку она зависит от результатов случайной величины X .

Статистика

Как частотная, так и байесовская статистическая теория предполагают принятие решения на основе ожидаемого значения функции потерь; однако в этих двух парадигмах эта величина определяется по-разному.

Ожидаемый убыток Frequentist

Сначала мы определяем ожидаемые потери в частотном контексте. Это достигается путем принятия ожидаемого значения относительно распределения вероятностей, P & _thetas , наблюдаемых данных, X . Это также называется функцией риска ^[11]^[12]^[13]^[14] решающего правила δ и параметра θ . Здесь правило принятия решения зависит от исхода X . Функция риска определяется следующим образом:

{\ Displaystyle R (\ theta, \ delta) = \ operatorname {E} _ {\ theta} L {\ big (} \ theta, \ delta (X) {\ big)} = \ int _ {X} L { \ big (} \ theta, \ delta (x) {\ big)} \, \ mathrm {d} P _ {\ theta} (x).}

Здесь θ - фиксированное, но, возможно, неизвестное состояние природы, X - вектор наблюдений, стохастически взятых из популяции , ${\ displaystyle \ operatorname {E} _ {\ theta}}$ это ожидание по всем значениям популяций X , дР _θ представляет собой вероятностная мера над пространством событий X (параметризованным & thetas ) , а интеграл вычисляется по всей поддержке от X .

Байесовский ожидаемый убыток

В байесовском подходе математическое ожидание вычисляется с использованием апостериорного распределения $π$ ^* параметра θ :

{\ displaystyle \ rho (\ pi ^ {*}, a) = \ int _ {\ Theta} L (\ theta, a) \, \ mathrm {d} \ pi ^ {*} (\ theta).}

Затем следует выбрать действие a ^*, которое минимизирует ожидаемые убытки. Хотя это приведет к выбору того же действия, которое было бы выбрано с использованием частотного риска, акцент байесовского подхода заключается в том, что каждый заинтересован только в выборе оптимального действия в соответствии с фактическими наблюдаемыми данными, тогда как выбор фактического частотного оптимального правила принятия решения, которая является функцией всех возможных наблюдений, является гораздо более сложной проблемой.

Примеры в статистике

Для скалярного параметра θ решающая функция, выход которой ${\ displaystyle {\ hat {\ theta}}}$ является оценкой θ , а квадратичная функция потерь ( квадратичная потеря ошибок )

{\ Displaystyle L (\ тета, {\ шляпа {\ тета}}) = (\ тета - {\ шляпа {\ тета}}) ^ {2},}

функция риска становится среднеквадратической ошибкой оценки,

{\ displaystyle R (\ theta, {\ hat {\ theta}}) = \ operatorname {E} _ {\ theta} (\ theta - {\ hat {\ theta}}) ^ {2}.}

При оценке плотности неизвестным параметром является сама плотность вероятности . Функция потерь обычно выбирается как норма в соответствующем функциональном пространстве . Например, для нормы L 2 ,

{\ Displaystyle L (е, {\ шляпа {f}}) = \ | е - {\ шляпа {f}} \ | _ {2} ^ {2} \ ,,}

функция риска становится средним интегрированным квадратом ошибки

{\ displaystyle R (f, {\ hat {f}}) = \ operatorname {E} \ | f - {\ hat {f}} \ | ^ {2}. \,}

Экономический выбор в условиях неопределенности

В экономике принятие решений в условиях неопределенности часто моделируется с использованием функции полезности фон Неймана – Моргенштерна для неопределенной переменной, представляющей интерес, такой как богатство на конец периода. Поскольку значение этой переменной является неопределенным, неопределенным является и значение функции полезности; это ожидаемое значение полезности, которое максимизируется.

Правила принятия решений

Правило принятия решений делает выбор , используя критерий оптимальности. Некоторые часто используемые критерии:

Минимакс : выберите правило принятия решения с наименьшим наихудшим убытком, то есть минимизируйте наихудший (максимально возможный) убыток:

{\ displaystyle {\ underset {\ delta} {\ operatorname {arg \, min}}} \ \ max _ {\ theta \ in \ Theta} \ R (\ theta, \ delta).}

Инвариантность : выберите оптимальное правило принятия решения, которое удовлетворяет требованию инвариантности.
Выберите правило принятия решения с наименьшими средними потерями (т.е. минимизируйте ожидаемое значение функции потерь):

{\ displaystyle {\ underset {\ delta} {\ operatorname {arg \, min}}} \ operatorname {E} _ {\ theta \ in \ Theta} [R (\ theta, \ delta)] = {\ underset { \ delta} {\ operatorname {arg \, min}}} \ \ int _ {\ theta \ in \ Theta} R (\ theta, \ delta) \, p (\ theta) \, d \ theta.}

Выбор функции потерь

Надежная статистическая практика требует выбора оценщика, соответствующего фактическим допустимым отклонениям, наблюдаемым в контексте конкретной прикладной проблемы. Таким образом, при прикладном использовании функций потерь выбор статистического метода для моделирования прикладной задачи зависит от знания потерь, которые будут понесены из-за ошибки в конкретных обстоятельствах проблемы. ^[15]

Типичный пример включает оценку « местоположения ». При типичных статистических допущениях среднее или среднее - это статистика для оценки местоположения, которая минимизирует ожидаемые потери, понесенные при использовании функции потерь квадратичной ошибки , а медиана - это оценка, которая минимизирует ожидаемые потери, возникающие при использовании функции потерь абсолютной разницы. Тем не менее, другие оценки были бы оптимальными при других, менее распространенных обстоятельствах.

В экономике, когда агент нейтрален к риску , целевая функция просто выражается как ожидаемое значение денежной величины, такой как прибыль, доход или богатство на конец периода. Для агентов, не склонных к риску или любящих риск , убыток измеряется как отрицательное значение функции полезности , а целевая функция, которая должна быть оптимизирована, представляет собой ожидаемое значение полезности.

Возможны и другие меры стоимости, например смертность или заболеваемость в области общественного здравоохранения или техники безопасности .

Для большинства алгоритмов оптимизации желательно иметь глобально непрерывную и дифференцируемую функцию потерь .

Две очень часто используемые функции потерь - это квадрат потерь , ${\ Displaystyle L (а) = а ^ {2}}$ , и абсолютная потеря , ${\ Displaystyle L (а) = | а |}$ . Однако абсолютная потеря имеет тот недостаток, что она не дифференцируется на ${\ displaystyle a = 0}$ . Недостаток возведенного в квадрат потерь состоит в том, что в нем преобладают выбросы - при суммировании по набору ${\ displaystyle a}$ (как в ${\ Displaystyle \ сумма _ {я = 1} ^ {п} L (а_ {я})}$ ), окончательная сумма, как правило, является результатом нескольких особенно больших a- значений, а не выражением среднего a- значения.

Выбор функции потерь не является произвольным. Он очень ограничен, и иногда функция потерь может характеризоваться своими желательными свойствами. ^[16] К принципам выбора относятся, например, требование полноты класса симметричной статистики в случае iid- наблюдений, принцип полной информации и некоторые другие.

У. Эдвардс Деминг и Нассим Николас Талебутверждают, что эмпирическая реальность, а не хорошие математические свойства, должна быть единственной основой для выбора функций потерь, а реальные потери часто не являются математически хорошими и недифференцируемыми, непрерывными, симметричными и т. д. Например, человек, который прибывает перед плоскими воротами закрытие все еще может сделать самолет, но человек, который прибывает после, не может, прерывистость и асимметрия, которые делают прибытие с небольшим опозданием намного более дорогостоящим, чем прибытие с небольшим опозданием. При дозировании лекарств стоимость слишком малого количества лекарства может быть связана с недостаточной эффективностью, в то время как стоимость слишком большого количества может быть переносимой токсичностью, еще одним примером асимметрии. Движение, трубы, балки, экология, климат и т. Д. Могут выдерживать повышенную нагрузку или стресс с небольшими заметными изменениями до определенного момента, а затем становятся резервными или катастрофически ломаются. Эти ситуации, утверждают Деминг и Талеб,распространены в реальных задачах, возможно, более распространены, чем классические гладкие, непрерывные, симметричные, дифференциальные случаи.^[17]

См. Также

Байесовское сожаление
Функции потерь для классификации
Дисконтированный максимальный убыток
Потеря шарнира
Правило подсчета очков
Статистический риск

Ссылки

^ Рашка, Себастьян (2019). Машинное обучение Python: машинное обучение и глубокое обучение с помощью Python, scikit-learn и tensorflow 2 . Бирмингем: Packt Publishing, Limited. п. 37 - 38. ISBN 1-78995-829-6. OCLC 1135663723 .
Перейти ↑ Wald, A. (1950). Статистические функции принятия решений . Вайли.
^ Крамера, H. (1930). По математической теории риска . Centraltryckeriet .
^ Фриш, Рагнар (1969). «От утопической теории к практическим приложениям: эконометрика». Лекция о присуждении Нобелевской премии . Проверено 15 февраля 2021 года .
^ Тангиан, Андраник; Грубер, Йозеф (1997). Построение скалярных целевых функций. Труды Третьей Международной конференции по эконометрическому Decision Модели: Построение скалярных целевых функций, Университет Хаген, который состоялся в Katholische Akademie Schwerte 5-8 сентября 1995 года . Конспект лекций по экономике и математическим системам. 453 . Берлин: Springer. DOI : 10.1007 / 978-3-642-48773-6 . ISBN 978-3-540-63061-6.
^ Тангиан, Андраник; Грубер, Йозеф (2002). Построение и применение целевых функций. Труды Четвертой Международной конференции по эконометрических моделей принятия решений построения и применения объективных функций, Университет Хаген, проходившего в Haus Nordhelle, 28 августа - 31, 2000 . Конспект лекций по экономике и математическим системам. 510 . Берлин: Springer. DOI : 10.1007 / 978-3-642-56038-5 . ISBN 978-3-540-42669-1.
^ Tangian Андраник (2002). «Построение квазивогнутой квадратичной целевой функции из интервью с лицом, принимающим решения». Европейский журнал операционных исследований . 141 (3): 608–640. DOI : 10.1016 / S0377-2217 (01) 00185-0 . S2CID 39623350 .
^ Tangian Андраник (2004). «Модель для обычного построения аддитивных целевых функций». Европейский журнал операционных исследований . 159 (2): 476–512. DOI : 10.1016 / S0377-2217 (03) 00413-2 . S2CID 31019036 .
^ Tangian Андраник (2004). «Перераспределение университетских бюджетов с учетом статус-кво». Европейский журнал операционных исследований . 157 (2): 409–428. DOI : 10.1016 / S0377-2217 (03) 00271-6 .
^ Tangian Андраник (2008). «Многокритериальная оптимизация региональной политики занятости: имитационный анализ для Германии» . Обзор городского и регионального развития . 20 (2): 103–122. DOI : 10.1111 / j.1467-940X.2008.00144.x .
^ Никулин, М.С. (2001) [1994], "Риск статистической процедуры" , Энциклопедия математики , EMS Press
^ Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .
^ ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека Wiley Classics. ISBN 978-0-471-68029-1. Руководство по ремонту 2288194 .
^ Роберт, Кристиан П. (2007). Байесовский выбор . Тексты Springer в статистике (2-е изд.). Нью-Йорк: Спрингер. DOI : 10.1007 / 0-387-71599-1 . ISBN 978-0-387-95231-4. Руководство по ремонту 1835885 .
^ Pfanzagl, J. (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 978-3-11-013863-4.
^ Подробная информация о математических принципах выбора функции потерь дана в главе 2 книги Клебанов Б .; Рачев, Светлозат Т .; Фабоцци, Фрэнк Дж. (2009). Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific Publishers, Inc. (и ссылки там).
^ Деминг, У. Эдвардс (2000). Выйти из кризиса . MIT Press. ISBN 9780262541152.

Дальнейшее чтение

Арец, Кевин; Bartram, Söhnke M .; Папа Петр Ф. (апрель – июнь 2011 г.). «Асимметричные функции потерь и рациональность ожидаемой доходности акций». Международный журнал прогнозирования . 27 (2): 413–437. DOI : 10.1016 / j.ijforecast.2009.10.008 . SSRN 889323 .
Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .

Чекетти, С. (2000). «Формирование денежно-кредитной политики: цели и правила» . Оксфордский обзор экономической политики . 16 (4): 43–59. DOI : 10.1093 / oxrep / 16.4.43 .

Горовиц, Энн Р. (1987). «Убыточные функции и публичная политика». Журнал макроэкономики . 9 (4): 489–504. DOI : 10.1016 / 0164-0704 (87) 90016-4 .

Во, Роджер Н. (1976). «Асимметричные полезные функции разработчика политики и оптимальная политика в условиях неопределенности». Econometrica . 44 (1): 53–66. DOI : 10.2307 / 1911380 . JSTOR 1911380 .

[Raschka_2019_p.-1] Рашка, Себастьян (2019). Машинное обучение Python: машинное обучение и глубокое обучение с помощью Python, scikit-learn и tensorflow 2 . Бирмингем: Packt Publishing, Limited. п. 37 - 38. ISBN 1-78995-829-6. OCLC 1135663723 .

[2] Перейти ↑ Wald, A. (1950). Статистические функции принятия решений . Вайли.

[3] Крамера, H. (1930). По математической теории риска . Centraltryckeriet .

[4] Фриш, Рагнар (1969). «От утопической теории к практическим приложениям: эконометрика». Лекция о присуждении Нобелевской премии . Проверено 15 февраля 2021 года .

[TangianGruber1997-5] Тангиан, Андраник; Грубер, Йозеф (1997). Построение скалярных целевых функций. Труды Третьей Международной конференции по эконометрическому Decision Модели: Построение скалярных целевых функций, Университет Хаген, который состоялся в Katholische Akademie Schwerte 5-8 сентября 1995 года . Конспект лекций по экономике и математическим системам. 453 . Берлин: Springer. DOI : 10.1007 / 978-3-642-48773-6 . ISBN 978-3-540-63061-6.

[TangianGruber2002-6] Тангиан, Андраник; Грубер, Йозеф (2002). Построение и применение целевых функций. Труды Четвертой Международной конференции по эконометрических моделей принятия решений построения и применения объективных функций, Университет Хаген, проходившего в Haus Nordhelle, 28 августа - 31, 2000 . Конспект лекций по экономике и математическим системам. 510 . Берлин: Springer. DOI : 10.1007 / 978-3-642-56038-5 . ISBN 978-3-540-42669-1.

[Tangian2002-7] Tangian Андраник (2002). «Построение квазивогнутой квадратичной целевой функции из интервью с лицом, принимающим решения». Европейский журнал операционных исследований . 141 (3): 608–640. DOI : 10.1016 / S0377-2217 (01) 00185-0 . S2CID 39623350 .

[Tangian2004additiveUtility-8] Tangian Андраник (2004). «Модель для обычного построения аддитивных целевых функций». Европейский журнал операционных исследований . 159 (2): 476–512. DOI : 10.1016 / S0377-2217 (03) 00413-2 . S2CID 31019036 .

[Tangian2004universityBudgets-9] Tangian Андраник (2004). «Перераспределение университетских бюджетов с учетом статус-кво». Европейский журнал операционных исследований . 157 (2): 409–428. DOI : 10.1016 / S0377-2217 (03) 00271-6 .

[Tangian2008RegionalEnemployment-10] Tangian Андраник (2008). «Многокритериальная оптимизация региональной политики занятости: имитационный анализ для Германии» . Обзор городского и регионального развития . 20 (2): 103–122. DOI : 10.1111 / j.1467-940X.2008.00144.x .

[11] Никулин, М.С. (2001) [1994], "Риск статистической процедуры" , Энциклопедия математики , EMS Press

[12] Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .

[13] ДеГрут, Моррис (2004) [1970]. Оптимальные статистические решения . Библиотека Wiley Classics. ISBN 978-0-471-68029-1. Руководство по ремонту 2288194 .

[14] Роберт, Кристиан П. (2007). Байесовский выбор . Тексты Springer в статистике (2-е изд.). Нью-Йорк: Спрингер. DOI : 10.1007 / 0-387-71599-1 . ISBN 978-0-387-95231-4. Руководство по ремонту 1835885 .

[15] Pfanzagl, J. (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 978-3-11-013863-4.

[16] Подробная информация о математических принципах выбора функции потерь дана в главе 2 книги Клебанов Б .; Рачев, Светлозат Т .; Фабоцци, Фрэнк Дж. (2009). Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific Publishers, Inc. (и ссылки там).

[17] Деминг, У. Эдвардс (2000). Выйти из кризиса . MIT Press. ISBN 9780262541152.

[1]