Энергетическое расстояние

В этой статье слишком много ссылок на первоисточники . Пожалуйста, улучшите это, добавив вторичные или третичные источники . ( Январь 2011 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Энергетическое расстояние - это статистическое расстояние между распределениями вероятностей . Если X и Y являются независимыми случайными векторами в R ^d с кумулятивными функциями распределения (cdf) F и G соответственно, то энергетическое расстояние между распределениями F и G определяется как квадратный корень из

${\displaystyle D^{2}(F,G)=2\operatorname {E} \|X-Y\|-\operatorname {E} \|X-X'\|-\operatorname {E} \|Y-Y'\|\geq 0,}$

где (X, X ', Y, Y') независимы, cdf для X и X '- это F, cdf для Y и Y' - это G, является ожидаемым значением и || . || обозначает длину вектора. Энергетическое расстояние удовлетворяет всем аксиомам метрики, таким образом, энергетическое расстояние характеризует равенство распределений: D (F, G) = 0 тогда и только тогда, когда F = G. Энергетическое расстояние для статистических приложений было введено в 1985 г. Габором Дж. Секели , который доказал что для вещественнозначных случайных величин ровно в два раза расстояние Харальда Крамера : ^[1]${\displaystyle \operatorname {E} }$${\displaystyle D^{2}(F,G)}$

${\displaystyle \int _{-\infty }^{\infty }(F(x)-G(x))^{2}\,dx.}$

Простое доказательство этой эквивалентности см. В Székely (2002). ^[2]

Однако в более высоких измерениях эти два расстояния различаются, потому что энергетическое расстояние инвариантно относительно вращения, а расстояние Крамера - нет. (Обратите внимание , что расстояние Крамера не совпадает с распределением свободного критерия Крамера-Мизеса .)

Обобщение на метрические пространства [ править ]

Можно обобщить понятие энергетического расстояния на распределения вероятностей в метрических пространствах. Позвольте быть метрическое пространство с его борелевской сигма-алгеброй . Обозначим через набор всех вероятностных мер на измеримом пространстве . Если μ и ν - вероятностные меры в , то энергетическое расстояние μ и ν можно определить как квадратный корень из${\displaystyle (M,d)}$ ${\displaystyle {\mathcal {B}}(M)}$${\displaystyle {\mathcal {P}}(M)}$ ${\displaystyle (M,{\mathcal {B}}(M))}$${\displaystyle {\mathcal {P}}(M)}$${\displaystyle D}$

${\displaystyle D^{2}(\mu ,\nu )=2\operatorname {E} [d(X,Y)]-\operatorname {E} [d(X,X')]-\operatorname {E} [d(Y,Y')].}$

Однако это не обязательно неотрицательно. Если - сильно отрицательно определенное ядро, то - метрика , и наоборот. ^[3] Это состояние выражается выражением отрицательного типа. Отрицательного типа недостаточно, чтобы быть метрикой; последнее состояние выражается выражением сильного отрицательного типа. В этой ситуации энергетическое расстояние равно нулю тогда и только тогда, когда X и Y одинаково распределены. Примером метрики отрицательного типа, но не сильно отрицательного типа, является самолет с метрикой такси . Все евклидовы пространства и даже сепарабельные гильбертовы пространства имеют сильно отрицательный тип. ^[4]${\displaystyle (M,d)}$${\displaystyle D}$${\displaystyle (M,d)}$${\displaystyle D}$${\displaystyle (M,d)}$

В литературе по методам ядра для машинного обучения , эти обобщенные понятия расстояния энергии изучаются под названием максимального среднего расхождения. Эквивалентность дистанционных и ядерных методов для проверки гипотез рассматривается несколькими авторами. ^{[5] [6]}

Статистика энергии [ править ]

Родственная статистическая концепция, понятие электронной статистики или статистики энергии ^[7], было введено Габором Дж. Секели в 1980-х годах, когда он читал лекции на коллоквиуме в Будапеште, Венгрия, а также в Массачусетском технологическом институте, Йельском университете и Колумбии. Эта концепция основана на представлении о потенциальной энергии Ньютона . ^[8] Идея состоит в том, чтобы рассматривать статистические наблюдения как небесные тела, управляемые статистической потенциальной энергией, которая равна нулю только в том случае, если основная статистическая нулевая гипотеза верна. Статистика энергии - это функция расстояний между статистическими наблюдениями.

Энергетическое расстояние и E-статистика рассматривались как N -расстояния и N-статистика в Зингере А.А., Какосян А.В., Клебанов Л.Б. Характеристика распределений с помощью средних значений некоторых статистик в связи с некоторыми вероятностными метриками, Проблемы устойчивости для стохастических моделей. Москва, ВНИИСИ, 1989,47-55. (на русском), английский перевод: Характеристика распределений средними значениями статистики и некоторыми вероятностными метриками А. А. Зингер, А. В. Какосян, Л. Б. Клебанов в Journal of Soviet Mathematics (1992). В той же статье было дано определение сильно отрицательно определенного ядра и дано обобщение на метрические пространства, о котором говорилось выше. Книга ^[3]предоставляет эти результаты и их приложения для статистического тестирования. Книга также содержит некоторые приложения для восстановления потенциала меры.

Тестирование на равное распределение [ править ]

Рассмотрим нулевую гипотезу , что две случайные величины, X и Y имеют одинаковые распределения вероятностей: . Для статистических выборок из X и Y :${\displaystyle \mu =\nu }$

${\displaystyle x_{1},\dots ,x_{n}}$и ,${\displaystyle y_{1},\dots ,y_{m}}$

следующие средние арифметические расстояния вычисляются между выборками X и Y:

${\displaystyle A:={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}\|x_{i}-y_{j}\|,B:={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\|x_{i}-x_{j}\|,C:={\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}\|y_{i}-y_{j}\|}$.

E-статистика базовой нулевой гипотезы определяется следующим образом:

${\displaystyle E_{n,m}(X,Y):=2A-B-C}$

Можно доказать ^{[8] [9],} что и что соответствующее значение совокупности равно нулю тогда и только тогда, когда X и Y имеют одинаковое распределение ( ). Согласно этой нулевой гипотезе, статистика теста${\displaystyle E_{n,m}(X,Y)\geq 0}$${\displaystyle \mu =\nu }$

${\displaystyle T={\frac {nm}{n+m}}E_{n,m}(X,Y)}$

сходится по распределению к квадратичной форме независимых стандартных нормальных случайных величин . Согласно альтернативной гипотезе T стремится к бесконечности. Это позволяет построить последовательный статистический тест , энергетический тест для равных распределений. ^[10]

Также можно ввести E-коэффициент неоднородности. Это всегда от 0 до 1 и определяется как

${\displaystyle H={\frac {D^{2}(F_{X},F_{Y})}{2\operatorname {\operatorname {E} } \|X-Y\|}}={\frac {2\operatorname {E} \|X-Y\|-\operatorname {E} \|X-X'\|-\operatorname {E} \|Y-Y'\|}{2\operatorname {\operatorname {E} } \|X-Y\|}},}$

где обозначает ожидаемое значение . H  = 0 именно тогда, когда X и Y имеют одинаковое распределение.${\displaystyle \operatorname {E} }$

Goodness-of-fit [ править ]

Многомерная мера согласия определяется для распределений в произвольной размерности (не ограниченной размером выборки). Статистика согласия по энергии равна

${\displaystyle Q_{n}=n\left({\frac {2}{n}}\sum _{i=1}^{n}\operatorname {E} \|x_{i}-X\|^{\alpha }-\operatorname {E} \|X-X'\|^{\alpha }-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\|x_{i}-x_{j}\|^{\alpha }\right),}$

где X и X 'независимы и одинаково распределены согласно гипотетическому распределению, и . Единственное необходимое условие - это то, что X имеет конечный момент при нулевой гипотезе. При нулевой гипотезе асимптотическое распределение Q _n является квадратичной формой центрированных гауссовских случайных величин. Согласно альтернативной гипотезе, Q _n стохастически стремится к бесконечности и, таким образом, определяет статистически непротиворечивый тест. Для большинства приложений можно применять показатель степени 1 (евклидово расстояние). Важный частный случай проверки многомерной нормальности ^[9] реализован в энергетической${\displaystyle \alpha \in (0,2)}$${\displaystyle \alpha }$${\displaystyle \operatorname {E} Q_{n}=\operatorname {E} \|X-X'\|^{\alpha }}$пакет для R. Тесты также разработаны для распределений с тяжелым хвостом, таких как Парето ( степенной закон ), или стабильных распределений путем применения показателей в (0,1).

Приложения [ править ]

Приложения включают:

• Иерархическая кластеризация (обобщение метода Уорда) ^{[11] [12]}
• Проверка многомерной нормальности ^[9]
• Проверка гипотезы о равных распределениях с несколькими выборками, ^{[13] [14] [15]}
• Обнаружение точки изменения ^[16]
• Многомерная независимость:
  • корреляция расстояний , ^[17]
  • Броуновская ковариация . ^[18]
• Правила подсчета очков :

Гнейтинг и Рэфтери ^[19] применяют энергетическое расстояние для разработки нового и очень общего типа правильного правила оценки для вероятностных прогнозов - оценки энергии.

• Надежная статистика ^[20]
• Выбор гена ^[21]
• Анализ данных микрочипов ^[22]
• Анализ структуры материала ^[23]
• Морфометрические и хемометрические данные ^[24]

Применение статистики энергетики реализуются в открытом источнике энергии пакета ^[25] для R .

Ссылки [ править ]