Правило подсчета очков

Визуализация ожидаемой оценки при различных прогнозах из некоторых общих функций оценки. Пунктирная черная линия: истинная вера прогнозиста, красная: линейная, оранжевая: сферическая, пурпурная: квадратичная, зеленая: логарифмическая.

В теории принятия решений , в зависимости оценки или правилах подсчета очков , измеряет точность в вероятностных прогнозах . Это применимо к задачам, в которых прогнозы должны назначать вероятности набору взаимоисключающих результатов или классов . Набор возможных результатов может быть бинарным или категориальным по своей природе, и вероятности, присвоенные этому набору результатов, должны в сумме равняться единице (где каждая индивидуальная вероятность находится в диапазоне от 0 до 1). Оценка может рассматриваться либо как мера « калибровки » набора вероятностных прогнозов, либо как «функция стоимости» или « функция потерь ».

Если стоимость взимается пропорционально правильному правилу оценки, минимальная ожидаемая стоимость соответствует сообщению истинного набора вероятностей. Правильные правила оценки используются в метеорологии, финансах и классификации закономерностей, когда прогнозист или алгоритм будут пытаться минимизировать средний балл, чтобы получить уточненные, откалиброванные вероятности (то есть точные вероятности).

Определение [ править ]

Предположим, что и - две случайные величины, определенные в пространстве выборки с помощью и в качестве соответствующих им функций плотности (массы), в которых - целевая переменная прогноза и случайная величина, сгенерированная из схемы прогноза. Также предположим, что , for - это реализованное значение. Правило подсчета очков - это такая функция, как (т. Е. ), Которая вычисляет расстояние между и .${\ displaystyle Y: \ Omega \ rightarrow X}$${\ displaystyle G: \ Omega \ rightarrow Z}$${\ displaystyle \ Omega}$${\ displaystyle f_ {Y}: X \ rightarrow V}$${\ displaystyle f_ {G}: Z \ rightarrow V}$${\ displaystyle Y}$${\ displaystyle G}$${\ displaystyle Y = y}$${\ displaystyle y \ in X}$${\displaystyle S:Z\times X\rightarrow \mathbb {R} }$${\displaystyle S(G,y)}$${\displaystyle G}$${\displaystyle y}$

Ориентация [ править ]

${\displaystyle S(G,y)}$ положительно ориентирован, если для двух разных вероятностных прогнозов (например, и ) означает, что это более вероятный прогноз, чем .${\displaystyle G}$${\displaystyle G^{*}}$${\displaystyle S(G,y)>S(G^{*},y)}$${\displaystyle G}$${\displaystyle G^{*}}$

Ожидаемый результат [ править ]

Ожидаемая оценка - это ожидаемое значение правила оценки по всем возможным значениям целевой переменной. Например, для непрерывной случайной величины мы имеем

${\displaystyle {\bar {S}}(G)=\int _{-\infty }^{\infty }f_{Y}(y)S(G,y)\,dy}$

Ожидаемая потеря [ править ]

Ожидаемая потеря оценки - это разница между ожидаемой оценкой целевой переменной и прогнозом:

${\displaystyle L(G)={\bar {S}}(Y)-{\bar {S}}(G)}$

Приличие [ править ]

Предполагая положительную ориентацию, правило подсчета очков считается строго правильным, если значение ожидаемой потери очков положительно для всех возможных прогнозов. Другими словами, основанная на строго правильном правиле оценки, схема прогнозирования должна иметь лучший результат, если она предлагает целевую переменную в качестве прогноза, и наоборот; т. е. основанная на строго правильном правиле оценки, схема прогнозирования должна иметь лучший результат тогда и только тогда, когда она предлагает целевую переменную в качестве прогноза. ^[1]

Невероятностные меры точности прогнозов [ править ]

Хотя правила оценки представлены в литературе по вероятностному прогнозированию, определение является достаточно общим, чтобы рассматривать маловероятные меры, такие как средняя абсолютная ошибка или среднеквадратичная ошибка, как некоторые конкретные правила оценки. Основная характеристика таких правил подсчета очков - это просто функция ожидаемого значения (т. Е. ).${\displaystyle S(G,y)}$${\displaystyle G}$${\displaystyle E(G)}$

Пример применения правил подсчета очков [ править ]

Логарифмическое правило

Примером вероятностного прогнозирования является метеорология, где синоптик может дать вероятность дождя на следующий день. Можно было бы отметить, сколько раз за долгий период цитировалась вероятность 25%, и сравнить это с фактической долей выпадения дождя. Если фактический процент существенно отличался от заявленной вероятности, мы говорим, что прогнозист плохо откалиброван . Плохо откалиброванный прогнозист может быть поощрен к лучшему с помощью бонусной системы. Система бонусов, разработанная на основе правильного правила подсчета очков, будет стимулировать прогнозиста сообщать о вероятностях, равных его личным убеждениям . ^[2]

В дополнение к простому случаю бинарного решения , такого как присвоение вероятностей «дождю» или «без дождя», правила подсчета баллов могут использоваться для нескольких классов, таких как «дождь», «снег» или «ясно».

На изображении справа показан пример правила оценки, логарифмического правила оценки, как функции вероятности, сообщенной для события, которое действительно произошло. Один из способов использования этого правила - это оценка стоимости, основанная на вероятности, которую назначает прогнозист или алгоритм, а затем проверка того, какое событие действительно происходит.

Правильные правила подсчета очков [ править ]

Вероятностный прогнозист или алгоритм вернет вектор вероятности с вероятностью для каждого из результатов. Одно из применений функции подсчета очков может заключаться в выдаче вознаграждения, если произойдет th событие. Если используется правильное правило подсчета очков, то наибольшее ожидаемое вознаграждение получается путем сообщения истинного распределения вероятностей. Использование правильного правила подсчета очков побуждает прогнозиста быть честным и максимизировать ожидаемое вознаграждение. ^[3]${\displaystyle \mathbf {r} }$${\displaystyle i}$${\displaystyle S(\mathbf {r} ,i)}$${\displaystyle i}$

Строго правильные правила подсчета очков [ править ]

Правило подсчета очков является строго правильным, если оно однозначно оптимизировано (в ожидании) только истинными вероятностями. Другими словами, если правильное правило подсчета очков нестрого правильно, тогда он будет оптимизирован путем прогнозирования истинных вероятностей, но, возможно, также может достичь того же оптимального значения с некоторыми другими прогнозируемыми вероятностями. Оптимизация в этом случае будет соответствовать максимизации для квадратичных, сферических и логарифмических правил, но минимизации для оценки Брайера. Это можно увидеть на изображении справа для логарифмического правила. Здесь ожидается, что Событие 1 произойдет с вероятностью 0,8, и ожидаемая оценка (или вознаграждение) показана как функция сообщенной вероятности. Способ максимизировать ожидаемое вознаграждение - сообщить фактическую вероятность 0,8, поскольку все другие сообщаемые вероятности дадут более низкий ожидаемый результат. Это свойство сохраняется, потому что логарифмический счет строго правильный.

Примеры строго правильных правил подсчета очков [ править ]

Существует бесконечное количество правил подсчета очков, включая целые параметризованные семейства строго правильных правил подсчета очков. Те, что показаны ниже, являются просто популярными примерами.

Правило логарифмической оценки [ править ]

Логарифмическое правило подсчета очков - это строго строго локальное правило подсчета очков. Это также минус неожиданности , которая обычно используется в качестве критерия оценки в байесовском выводе ; цель - свести к минимуму ожидаемое удивление. Это правило оценки имеет прочную основу в теории информации .

${\displaystyle L(\mathbf {r} ,i)=\ln(r_{i})}$

Здесь оценка рассчитывается как логарифм оценки вероятности фактического результата. То есть, прогноз на 80%, который правильно подтвердился, получит оценку ln (0,8) = -0,22 . Этот же прогноз также присваивает 20% вероятность противоположному случаю, и поэтому, если прогноз окажется ложным, он получит оценку, основанную на 20%: ln (0,2) = -1,6 . Задача синоптика - максимизировать оценку и сделать ее как можно больше, а −0,22 действительно больше, чем −1,6.

Если трактовать истинность или ложность прогноза как переменную x со значением 1 или 0 соответственно, а выраженную вероятность как p , то можно записать логарифмическое правило подсчета очков как x ln ( p ) + (1 - x ) ln ( 1 - п ) . Обратите внимание, что можно использовать любую логарифмическую основу, поскольку строго правильные правила подсчета очков остаются строго правильными при линейном преобразовании. То есть:

${\displaystyle L(\mathbf {r} ,i)=\log _{b}(r_{i})}$

строго подходит для всех .${\displaystyle b>1}$

Правило Брайера / квадратичной оценки [ править ]

Квадратичное правило подсчета очков - это строго правильное правило подсчета очков.

${\displaystyle Q(\mathbf {r} ,i)=2r_{i}-\mathbf {r} \cdot \mathbf {r} =2r_{i}-\sum _{j=1}^{C}r_{j}^{2}}$

где - вероятность правильного ответа, а - количество классов.${\displaystyle r_{i}}$${\displaystyle C}$

Оценка Брайера , первоначально предложенная Гленном В. Брайером в 1950 году ^[4], может быть получена с помощью аффинного преобразования из правила квадратичной оценки.

${\displaystyle B(\mathbf {r} ,i)=\sum _{j=1}^{C}(y_{j}-r_{j})^{2}}$

Где когда правильное событие, а иначе - количество классов.${\displaystyle y_{j}=1}$${\displaystyle j}$${\displaystyle y_{j}=0}$${\displaystyle C}$

Важное различие между этими двумя правилами состоит в том, что прогнозист должен стремиться максимизировать квадратичный балл, но при этом минимизировать показатель Брайера. Это связано с отрицательным знаком линейного преобразования между ними.

Правило подсчета очков Хиваринена [ править ]

Функция оценки Хиваринена (с плотностью p) определяется формулой ^[5]

${\displaystyle s(p)=2\nabla _{y}\log p(y)+\|\Delta _{y}\log p(y)\|_{2}^{2}}$

Его можно использовать для вычислительного упрощения вывода параметров и решения проблемы сравнения байесовской модели с произвольно расплывчатыми априорными значениями. ^{[5] [6]} Он также использовался для введения новых теоретико-информационных величин, выходящих за рамки существующей теории информации . ^[7]

Правило сферической оценки [ править ]

Правило сферической оценки также является строго правильным правилом оценки.

${\displaystyle S(\mathbf {r} ,i)={\frac {r_{i}}{\lVert \mathbf {r} \rVert }}={\frac {r_{i}}{\sqrt {r_{1}^{2}+\cdots +r_{c}^{2}}}}}$

Интерпретация правильных правил подсчета очков [ править ]

Все надлежащие правила оценки равны взвешенным суммам (интегральным с неотрицательным весовым функционалом) потерь в наборе простых двух альтернативных задач решения, которые используют вероятностное прогнозирование, причем каждая такая проблема решения имеет определенную комбинацию связанных параметров стоимости. за ложноположительные и ложноотрицательные решения. строгоПравило правильной оценки соответствует наличию ненулевого веса для всех возможных пороговых значений решения. Любое данное правильное правило оценки равно ожидаемым потерям относительно определенного распределения вероятностей по порогам принятия решения; таким образом, выбор правила оценки соответствует предположению о распределении вероятностей проблем принятия решений, для которых в конечном итоге будут использоваться предсказанные вероятности, например, с помощью правила оценки квадратичных потерь (или правила Бриера), соответствующего равномерной вероятности того, что порог решения будет где угодно между нулем и единицей. Оценка точности классификации(процент классифицирован правильно), однопороговое правило оценки, которое равно нулю или единице в зависимости от того, находится ли прогнозируемая вероятность на соответствующей стороне 0,5, является правильным правилом оценки, но не строго правильным правилом оценки, потому что оно оптимизировано (в ожидании ) не только путем предсказания истинной вероятности, но и путем предсказания любой вероятности с той же частью 0,5, что и истинная вероятность. ^{[8] [9] [10] [11] [12] [13]}

Сравнение строго правильных правил подсчета очков [ править ]

Ниже слева показано графическое сравнение логарифмических, квадратичных и сферических правил подсчета баллов для задачи двоичной классификации. Х Оу указывает на отражаемые вероятность события , которое действительно произошло.

Важно отметить, что каждая из оценок имеет разную величину и расположение. Однако различия в величине не имеют значения, поскольку оценки остаются правильными при аффинном преобразовании. Поэтому для сравнения разных оценок необходимо привести их к общей шкале. Разумный выбор нормализации показан на рисунке справа, где все оценки пересекают точки (0,5,0) и (1,1). Это гарантирует, что они дают 0 для равномерного распределения (две вероятности по 0,5 каждая), что означает отсутствие затрат или вознаграждения за отчет о том, что часто является базовым распределением. Все приведенные ниже нормализованные баллы также дают 1, если истинному классу присваивается вероятность 1.

Характеристики [ править ]

Аффинное преобразование [ править ]

Строго правильное правило оценки, будь то бинарное или мультиклассовое, после аффинного преобразования остается строго правильным правилом оценки. ^[2] То есть, если это строго правильное правило подсчета очков, то with также является строго правильным правилом подсчета очков. Конечно, если тогда смысл оптимизации правила скоринга переключается между максимизацией и минимизацией.${\displaystyle S(\mathbf {r} ,i)}$${\displaystyle a+bS(\mathbf {r} ,i)}$${\displaystyle b\neq 0}$${\displaystyle b<0}$

Местоположение [ править ]

Правильное правило подсчета очков называется локальным, если его оценка вероятности конкретного события зависит только от вероятности этого события. Это утверждение расплывчато в большинстве описаний, но в большинстве случаев мы можем думать об этом как об оптимальном решении задачи оценки «в конкретном событии», инвариантно ко всем изменениям в распределении наблюдений, которые оставляют вероятность этого события неизменной. Все бинарные оценки являются локальными, поскольку определяется вероятность, присвоенная событию, которое не произошло, поэтому нет степени гибкости, которую можно было бы изменить.

Аффинные функции логарифмического правила оценки - единственные строго правильные локальные правила оценки на конечном множестве, которое не является двоичным.

Разложение [ править ]

Значение ожидания надлежащего правила подсчета очков может быть разложено на сумму трех компонентов, называемой неопределенность , надежность и разрешение , ^{[14] [15]} , которые характеризуют различные атрибуты вероятностных прогнозов:${\displaystyle S}$

${\displaystyle E(S)=\mathrm {UNC} +\mathrm {REL} -\mathrm {RES} .}$

Если оценка правильная и отрицательно ориентирована (например, оценка Бриера), все три термина являются положительно определенными. Компонент неопределенности равен ожидаемой оценке прогноза, который постоянно предсказывает среднюю частоту событий. Компонент надежности наказывает плохо откалиброванные прогнозы, в которых предсказанные вероятности не совпадают с частотами событий.

Уравнения для отдельных компонентов зависят от конкретного правила подсчета очков. Для оценки Брайера они даются как

${\displaystyle \mathrm {UNC} ={\bar {x}}(1-{\bar {x}})}$

${\displaystyle \mathrm {REL} =E(p-\pi (p))^{2}}$

${\displaystyle \mathrm {RES} =E(\pi (p)-{\bar {x}})^{2}}$

где - средняя вероятность наступления двоичного события , а - условная вероятность события, т. е.${\displaystyle {\bar {x}}}$${\displaystyle x}$${\displaystyle \pi (p)}$${\displaystyle p}$${\displaystyle \pi (p)=P(x=1\mid p)}$

См. Также [ править ]

• Правило принятия решения

Ссылки [ править ]

Внешние ссылки [ править ]

• Видео сравнения сферических, квадратичных и логарифмических правил подсчета очков
• Местные правила правильной оценки
• Правила выставления оценок и обучение анализу решений
• Строго правильные правила подсчета очков
• Правила подсчета очков и неопределенность