Существует два основных использования термина калибровка в статистике, которые обозначают особые типы задач статистического вывода. «Калибровка» может означать
- процесс, обратный регрессии , где вместо прогнозирования будущей зависимой переменной на основе известных объясняющих переменных, известное наблюдение зависимых переменных используется для прогнозирования соответствующей независимой переменной; [1]
- процедуры статистической классификации для определения вероятностей принадлежности к классам, которые оценивают неопределенность данного нового наблюдения, принадлежащего каждому из уже установленных классов.
Кроме того, «калибровка» используется в статистике с обычным общим значением калибровки . Например, калибровка модели также может использоваться для ссылки на байесовский вывод о значении параметров модели при наличии некоторого набора данных или, в более общем смысле, для любого типа подгонки статистической модели . Как выразился Филип Давид , «прогнозист хорошо откалиброван, если, например, из тех событий, которым он приписывает вероятность 30 процентов, долгосрочная доля, которая действительно имеет место, оказывается равной 30 процентам». [2]
В регрессе
Проблема калибровки в регрессии заключается в использовании известных данных о наблюдаемой взаимосвязи между зависимой переменной и независимой переменной для оценки других значений независимой переменной на основе новых наблюдений зависимой переменной. [3] [4] [5] Это может быть известно как «обратная регрессия»: [6] см. Также срезанную обратную регрессию .
Одним из примеров является датирование объектов с использованием наблюдаемых свидетельств, таких как годичные кольца для дендрохронологии или углерод-14 для радиометрического датирования . Наблюдение вызвано возрастом датируемого объекта, а не наоборот, и цель состоит в том, чтобы использовать метод оценки дат на основе новых наблюдений. Проблема , является ли эта модель используется для соотнесения известных возрастов с наблюдениями должна стремиться свести к минимуму ошибки в наблюдении, или свести к минимуму ошибки в дате. Эти два подхода дадут разные результаты, и разница будет увеличиваться, если затем модель будет использоваться для экстраполяции на некотором расстоянии от известных результатов.
В классификации
Калибровка в классификации означает преобразование оценок классификатора в вероятности членства в классе . Обзор методов калибровки для задач классификации на два и несколько классов дан Gebel (2009). [7]
Для преобразования оценок классификатора в вероятности членства в классе в случае двух классов существуют следующие методы одномерной калибровки :
- Подход с присвоением ценности, см. Garczarek (2002) [8]
- Байесовский подход, см. Bennett (2002) [9]
- Изотоническая регрессия , см. Zadrozny and Elkan (2002) [10].
- Масштабирование Платта (форма логистической регрессии ), см. Lewis and Gale (1994) [11] и Platt (1999) [12].
- Калибровка байесовского биннинга в квантили (BBQ), см. Naeini, Cooper, Hauskrecht (2015) [13]
- Бета-калибровка, см. Kull, Filho, Flach (2017) [14].
Существуют следующие методы многомерной калибровки для преобразования оценок классификатора в вероятности членства в классе в случае, когда количество классов больше двух:
В предсказании и прогнозировании
В предсказаниях и прогнозировании , A оценка Браера иногда используются для оценки точности прогнозирования набора предсказаний, в частности , что величина назначенных вероятностей отслеживать относительную частоту наблюдаемых результатов. Филип Э. Тетлок использует термин «калибровка» в этом смысле [16] в своей книге 2015 года « Суперпрогнозирование» .
Это отличается от точности и точности . Например, как выразился Даниэль Канеман , «если вы дадите всем событиям, которые происходят, вероятность 0,6, а всем событиям, которые не происходят, - вероятность 0,4, ваше различение будет идеальным, но ваша калибровка плохой». [16]
Aggregative Contingent Estimation - это программа Управления точного анализа (OIA) в рамках Intelligence Advanced Research Projects Activity (IARPA), которая спонсировала турниры по исследованиям и прогнозированию в партнерстве с The Good Judgment Project , совместно созданными Филипом Э. Тетлоком и Барбарой Меллерс. , и Дон Мур.
В метеорологии , в частности, что касается прогнозирования погоды , связанный с этим способ оценки известен как навык прогнозирования .
Смотрите также
- Калибровка
- Калиброванная оценка вероятности - субъективные вероятности, присвоенные таким образом, который исторически представляет их неопределенность
Рекомендации
- ^ Аптон, G, Кук, I. (2006) Оксфордский статистический словарь , OUP. ISBN 978-0-19-954145-4
- ^ Давид, А. П. (1982). «Хорошо откалиброванный байесовский». Журнал Американской статистической ассоциации . 77 (379): 605–610. DOI : 10.1080 / 01621459.1982.10477856 .
- ^ Браун, П.Дж. (1994) Измерение, регрессия и калибровка , OUP. ISBN 0-19-852245-2
- ^ Ng, KH, Pooi, AH (2008) «Интервалы калибровки в моделях линейной регрессии», Коммуникации в статистике - теория и методы , 37 (11), 1688–1696. [1]
- ^ Хардин, JW, Schmiediche, H., Carroll, RJ (2003) "Метод регрессионного калибровки для подгонки обобщенной линейной модели с погрешностью измерения присадка", Stata журнал , 3 (4), 361-372. ссылка , pdf
- ^ Дрейпер, Н.Л., Смит, Х. (1998) Прикладной регрессионный анализ, 3-е издание , Wiley. ISBN 0-471-17082-8
- ^ а б Гебель, Мартин (2009). Многомерная калибровка оценок классификатора в вероятностном пространстве (PDF) (кандидатская диссертация). Дортмундский университет.
- ^ UM Garczarek " [2] Архивировано 23 ноября 2004 г.на Wayback Machine ," Правила классификации в стандартизированных пространствах разделения, Диссертация, Университет Дортмунда, 2002
- ^ PN Bennett, Использование асимметричных распределений для улучшения оценок вероятности текстового классификатора: сравнение новых и стандартных параметрических методов, Технический отчет CMU-CS-02-126, Карнеги-Меллон, Школа компьютерных наук, 2002.
- ^ Б. Задрозный и К. Элкан, Преобразование оценок классификатора в точные многоклассовые оценки вероятности. В: Материалы восьмой Международной конференции по открытию знаний и интеллектуальному анализу данных, 694–699, Эдмонтон, ACM Press, 2002.
- ^ Д.Д. Льюис и В.А. Гейл, Последовательный алгоритм обучения текстовых классификаторов. В: WB Croft and CJ van Rijsbergen (eds.), Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '94), 3–12. Нью-Йорк, Springer-Verlag, 1994.
- ^ JC Platt, Вероятностные выходы для опорных векторных машин и сравнения с регуляризованными методами правдоподобия. В: AJ Smola, P. Bartlett, B. Schölkopf и D. Schuurmans (ред.), Advances in Large Margin Classiers, 61–74. Кембридж, MIT Press, 1999.
- ^ Наейни М.П., Купер Г.Ф., Хаускрехт М. Получение хорошо откалиброванных вероятностей с использованием байесовского биннинга. Труды. Конференция AAAI по искусственному интеллекту Конференция AAAI по искусственному интеллекту. 2015; 2015: 2901-2907.
- ^ Меэлис Кулл, Тельмо Сильва Филью, Питер Флак; Материалы 20-й Международной конференции по искусственному интеллекту и статистике, PMLR 54: 623-631, 2017.
- ^ Т. Хасти и Р. Тибширани, " [3] ," Классификация по парному сцеплению. В: MI Jordan, MJ Kearns и SA Solla (ред.), Advances in Neural Information Processing Systems, volume 10, Cambridge, MIT Press, 1998.
- ^ а б «Edge Master Class 2015: Краткий курс суперпрогнозирования, класс II» . edge.org . Edge Foundation. 24 августа 2015 . Проверено 13 апреля 2018 года .
Калибровка - это когда я говорю, что вероятность того, что что-то произойдет, составляет 70 процентов, что-то происходит в 70 процентах времени.
CS1 maint: обескураженный параметр ( ссылка )