G -тест

В статистике , G - тестов являются отношения правдоподобия или максимального правдоподобия статистической значимости тестов , которые все чаще используются в ситуациях , когда хи-квадрат тесты были рекомендованы ранее. ^[1]

Общая формула для G :

{\ displaystyle G = 2 \ sum _ {i} {O_ {i} \ cdot \ ln \ left ({\ frac {O_ {i}} {E_ {i}}} \ right)},}

где - наблюдаемое количество в ячейке, - это ожидаемое количество при нулевой гипотезе , обозначает натуральный логарифм , а сумма берется по всем непустым ячейкам. Кроме того, общее наблюдаемое количество должно быть равно общему ожидаемому количеству: ${\ textstyle O_ {i} \ geq 0}$ ${\ textstyle E_ {i}> 0}$ ${\ textstyle \ ln}$

\sum _{i}O_{i}=\sum _{i}E_{i}=N

где - общее количество наблюдений.

{\textstyle N}

G- тесты рекомендуются, по крайней мере, с 1981 года издания « Биометрия» , учебника статистики Роберта Р. Сокала и Ф. Джеймса Ролфа . ^[2]

Вывод [ править ]

Мы можем получить значение G- критерия из теста логарифмического отношения правдоподобия, в котором базовой моделью является полиномиальная модель.

Предположим, у нас есть выборка, где каждое - это количество раз, когда объект определенного типа наблюдался. Кроме того, пусть будет общее количество наблюдаемых объектов. Если мы предположим, что базовая модель является полиномиальной, то тестовая статистика определяется следующим образом: ${\textstyle x=(x_{1},\ldots ,x_{m})}$ ${\textstyle x_{i}}$ ${\textstyle i}$ ${\textstyle n=\sum _{i=1}^{m}x_{i}}$

\ln \left({\frac {L({\tilde {\theta }}|x)}{L({\hat {\theta }}|x)}}\right)=\ln \left({\frac {\prod _{i=1}^{m}{\tilde {\theta }}_{i}^{x_{i}}}{\prod _{i=1}^{m}{\hat {\theta }}_{i}^{x_{i}}}}\right)

где - нулевая гипотеза, а - оценка максимального правдоподобия (MLE) параметров с учетом данных. Напомним, что для полиномиальной модели MLE данных некоторых данных определяется следующим образом:

{\textstyle {\tilde {\theta }}}

{\hat {\theta }}

{\textstyle {\hat {\theta }}_{i}}

{\hat {\theta }}_{i}={\frac {x_{i}}{n}}

Кроме того, мы можем представить каждый параметр нулевой гипотезы как

{\tilde {\theta }}_{i}

{\tilde {\theta }}_{i}={\frac {e_{i}}{n}}

Таким образом, заменяя представления и в логарифмическом отношении правдоподобия, уравнение упрощается до

{\textstyle {\tilde {\theta }}}

{\textstyle {\hat {\theta }}}

{\begin{aligned}\ln \left({\frac {L({\tilde {\theta }}|x)}{L({\hat {\theta }}|x)}}\right)&=\ln \prod _{i=1}^{m}\left({\frac {e_{i}}{x_{i}}}\right)^{x_{i}}\\&=\sum _{i=1}^{m}x_{i}\ln \left({\frac {e_{i}}{x_{i}}}\right)\\\end{aligned}}

Обозначьте переменные с помощью и с . Наконец, умножьте на коэффициент (используемый, чтобы сделать формулу G-критерия асимптотически эквивалентной формуле критерия хи-квадрат Пирсона ), чтобы получить форму

{\textstyle e_{i}}

{\textstyle E_{i}}

{\textstyle x_{i}}

{\textstyle O_{i}}

{\textstyle -2}

${\begin{alignedat}{2}G&=&\;-2\sum _{i=1}^{m}O_{i}\ln \left({\frac {E_{i}}{O_{i}}}\right)\\&=&2\sum _{i=1}^{m}O_{i}\ln \left({\frac {O_{i}}{E_{i}}}\right)\end{alignedat}}$

Распространение и использование [ править ]

Учитывая , что нулевая гипотеза о том , что наблюдаемые частоты в результате случайной выборки из распределения с данными ожидаемыми частотами, то распределение на G находится примерно в хи-квадрат распределение , с тем же числом степеней свободы , как и в соответствующей хи-квадрат тест.

Для очень маленьких выборок полиномиальный тест согласия и точный тест Фишера для таблиц сопряженности или даже выбор байесовской гипотезы предпочтительнее G- теста. ^[3] Макдональд рекомендует всегда использовать точный тест (точный тест согласия, точный тест Фишера ), если общий размер выборки меньше 1000.

Нет ничего волшебного в размере выборки 1000, это просто красивое круглое число, которое находится в диапазоне, в котором точный тест, критерий хи-квадрат и G –тест дадут почти идентичные значения P. Электронные таблицы, калькуляторы веб-страниц и SAS не должны иметь проблем с выполнением точного теста на выборке размером 1000.
- Джон Х. Макдональд, Справочник по биологической статистике.

Отношение к критерию хи-квадрат [ править ]

Обычно используемые тесты хи-квадрат для согласия с распределением и независимости в таблицах непредвиденных обстоятельств фактически являются приближениями логарифмического отношения правдоподобия, на котором основаны G- тесты. Общая формула для статистики критерия хи-квадрат Пирсона:

\chi ^{2}=\sum _{i}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}.

Приближение G с помощью хи-квадрат получается разложением Тейлора второго порядка натурального логарифма около 1. Чтобы увидеть это, рассмотрим

G=2\sum _{i}{O_{i}\ln \left({\frac {O_{i}}{E_{i}}}\right)}

,

и пусть с , чтобы общее количество отсчетов осталось прежним. После подстановки находим, $O_{i}=E_{i}+\delta _{i}$ $\sum _{i}\delta _{i}=0$

G=2\sum _{i}{(E_{i}+\delta _{i})\ln \left(1+{\frac {\delta _{i}}{E_{i}}}\right)}

.

Расширение Тейлора вокруг может быть выполнено с помощью . Результат $1+{\frac {\delta _{i}}{E_{i}}}$ $\ln(1+x)\approx x-{\frac {1}{2}}x^{2}+O(x^{3})$

G\approx 2\sum _{i}(E_{i}+\delta _{i})\left({\frac {\delta _{i}}{E_{i}}}-{\frac {1}{2}}{\frac {\delta _{i}^{2}}{E_{i}^{2}}}+O\left(\delta _{i}^{3}\right)\right)

, и условия распространения, которые мы находим,

G=2\sum _{i}\delta _{i}+{\frac {1}{2}}{\frac {\delta _{i}^{2}}{E_{i}}}+O\left(\delta _{i}^{3}\right)

.

Теперь, используя тот факт, что и , мы можем записать результат, $\sum _{i}\delta _{i}=0$ $\delta _{i}=O_{i}-E_{i}$

G\approx \sum _{i}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}

.

Это показывает, что когда наблюдаемые подсчеты близки к ожидаемым . Однако, когда эта разница велика, приближение начинает нарушаться. Здесь влияние выбросов в данных будет более выраженным, и это объясняет, почему тесты терпят неудачу в ситуациях с небольшим количеством данных. $G\approx \chi ^{2}$ $O_{i}$ $E_{i}$ $\chi ^{2}$ $\chi ^{2}$

Вывод о том, как критерий хи-квадрат связан с G- критерием и отношениями правдоподобия, в том числе с полным байесовским решением, представлен в Hoey (2012). ^[4]

Для выборок разумного размера G -критерий и критерий хи-квадрат приводят к одним и тем же выводам. Однако приближение к теоретическому распределению хи-квадрат для G- критерия лучше, чем для критерия хи-квадрат Пирсона . ^[5] В случаях, когда для некоторых ячеек G- критерий всегда лучше, чем критерий хи-квадрат. ^[^{необходима цитата}^] $O_{i}>2\cdot E_{i}$

Для проверки согласия G- критерий бесконечно более эффективен, чем критерий хи-квадрат в смысле Бахадура, но оба теста одинаково эффективны в смысле Питмана или Ходжеса и Лемана. ^[6]^[7]

Связь с расхождением Кульбака – Лейблера [ править ]

В G -TEST статистика пропорциональна Кульбак-Лейблер расхождение теоретического распределения от эмпирического распределения:

{\begin{aligned}G&=2\sum _{i}{O_{i}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)}=2N\sum _{i}{o_{i}\cdot \ln \left({\frac {o_{i}}{e_{i}}}\right)}\\&=2N\,D_{\mathrm {KL} }(o\|e),\end{aligned}}

где N - общее количество наблюдений, и - эмпирическая и теоретическая частоты соответственно. $o_{i}$ $e_{i}$

Отношение к взаимной информации [ править ]

Для анализа таблиц непредвиденных обстоятельств значение G также может быть выражено в терминах взаимной информации .

Позволять

N=\sum _{ij}{O_{ij}}\;

, , , И .

\;\pi _{ij}={\frac {O_{ij}}{N}}\;

\;\pi _{i.}={\frac {\sum _{j}O_{ij}}{N}}\;

\;\pi _{.j}={\frac {\sum _{i}O_{ij}}{N}}\;

Тогда G можно выразить в нескольких альтернативных формах:

G=2\cdot N\cdot \sum _{ij}{\pi _{ij}\left(\ln(\pi _{ij})-\ln(\pi _{i.})-\ln(\pi _{.j})\right)},

G=2\cdot N\cdot \left[H(r)+H(c)-H(r,c)\right],

G=2\cdot N\cdot \operatorname {MI} (r,c)\,,

где энтропия дискретной случайной величины определяется как $X\,$

H(X)=-{\sum _{x\in {\text{Supp}}(X)}p(x)\log p(x)}\,,

и где

\operatorname {MI} (r,c)=H(r)+H(c)-H(r,c)\,

- это взаимная информация между вектором-строкой r и вектор-столбцом c таблицы непредвиденных обстоятельств.

Также можно показать ^{[ необходима цитата ],} что обратное взвешивание частоты документа, обычно используемое для поиска текста, является приближением G, применимым, когда сумма строк для запроса намного меньше, чем сумма строк для остальной части корпуса. Точно так же результат байесовского вывода, примененный к выбору одного полиномиального распределения для всех строк таблицы непредвиденных обстоятельств вместе взятых, по сравнению с более общей альтернативой отдельного полиномиального распределения для каждой строки дает результаты, очень похожие на статистику G. ^{[ необходима цитата ]}

Заявление [ править ]

Тест Макдональда – Крейтмана в статистической генетике представляет собой приложение G- теста.
Даннинг ^[8] представил этот тест сообществу компьютерной лингвистики, где он сейчас широко используется.

Статистическое программное обеспечение [ править ]

В R быстрые реализации можно найти в пакетах AMR и Rfast . Для пакета AMR, команда , g.testкоторая работает точно так же , как chisq.testиз базы R. R также имеет likelihood.test функции в Deducer пакете. Примечание: Фишер G -test в GeneCycle Пакете на языке R программирования ( fisher.g.test) не реализует G -теста , как описано в этой статье, а точный критерий Фишера гауссовского белого шума во временном ряду. ^[9]
В SAS можно провести G- тест, применив /chisqпараметр после proc freq. ^[10]
В Stata можно провести G- тест, применив lrпараметр после tabulateкоманды.
В Java используйте org.apache.commons.math3.stat.inference.GTest. ^[11]

Ссылки [ править ]

^ Макдональд, JH (2014). «G – тест соответствия» . Справочник по биологической статистике (третье изд.). Балтимор, Мэриленд: Издательство Sparky House. С. 53–58.
^ Сокал, RR; Rohlf, FJ (1981). Биометрия: принципы и практика статистики в биологических исследованиях (второе изд.). Нью-Йорк: Фриман. ISBN 978-0-7167-2411-7.
^ Макдональд, JH (2014). «Малые числа в хи-квадрат и G- тестах» . Справочник по биологической статистике (третье изд.). Балтимор, Мэриленд: Издательство Sparky House. С. 86–89.
^ Хоя, J. (2012). «Двусторонний критерий отношения правдоподобия (G) и сравнение с двусторонним критерием хи-квадрат». arXiv : 1206.4881 [ stat.ME ].
^ Harremoës, P .; Тушнади, Г. (2012). «Информационное расхождение больше распределено по критериям хи-квадрат, чем статистика по хи-квадрат». Труды ИСИТ 2012 . С. 538–543. arXiv : 1202.1125 . Bibcode : 2012arXiv1202.1125H .
^ Куайн, депутат; Робинсон, Дж. (1985). «Эффективность критериев согласия и согласия правдоподобия» . Анналы статистики . 13 (2): 727–742. DOI : 10.1214 / AOS / 1176349550 .
^ Harremoës, P .; Вайда, И. (2008). «О Бахадур-эффективном тестировании однородности с помощью энтропии». IEEE Transactions по теории информации . 54 : 321–331. CiteSeerX 10.1.1.226.8051 . DOI : 10,1109 / tit.2007.911155 .
^ Даннинг, Тед (1993). « Точные методы для статистики Surprise и Совпадение Архивированных 2011-12-15 в Wayback Machine », компьютерная лингвистика , том 19, выпуск 1 (март 1993 г.).
Перейти ↑ Fisher, RA (1929). «Тесты значимости в гармоническом анализе» . Труды Королевского общества Лондона . 125 (796): 54–59. Bibcode : 1929RSPSA.125 ... 54F . DOI : 10.1098 / rspa.1929.0151 .
^ G-тест независимости , G-тест согласия в Справочнике по биологической статистике, Университет Делавэра. (стр. 46–51, 64–69 в: McDonald, JH (2009) Handbook of Biological Statistics (2 ed.). Sparky House Publishing, Балтимор, Мэриленд).
^ org.apache.commons.math3.stat.inference.GTest

Внешние ссылки [ править ]

G 2 / Калькулятор логарифмического правдоподобия

[1] Макдональд, JH (2014). «G – тест соответствия» . Справочник по биологической статистике (третье изд.). Балтимор, Мэриленд: Издательство Sparky House. С. 53–58.

[2] Сокал, RR; Rohlf, FJ (1981). Биометрия: принципы и практика статистики в биологических исследованиях (второе изд.). Нью-Йорк: Фриман. ISBN 978-0-7167-2411-7.

[3] Макдональд, JH (2014). «Малые числа в хи-квадрат и G- тестах» . Справочник по биологической статистике (третье изд.). Балтимор, Мэриленд: Издательство Sparky House. С. 86–89.

[4] Хоя, J. (2012). «Двусторонний критерий отношения правдоподобия (G) и сравнение с двусторонним критерием хи-квадрат». arXiv : 1206.4881 [ stat.ME ].

[5] Harremoës, P .; Тушнади, Г. (2012). «Информационное расхождение больше распределено по критериям хи-квадрат, чем статистика по хи-квадрат». Труды ИСИТ 2012 . С. 538–543. arXiv : 1202.1125 . Bibcode : 2012arXiv1202.1125H .

[6] Куайн, депутат; Робинсон, Дж. (1985). «Эффективность критериев согласия и согласия правдоподобия» . Анналы статистики . 13 (2): 727–742. DOI : 10.1214 / AOS / 1176349550 .

[7] Harremoës, P .; Вайда, И. (2008). «О Бахадур-эффективном тестировании однородности с помощью энтропии». IEEE Transactions по теории информации . 54 : 321–331. CiteSeerX 10.1.1.226.8051 . DOI : 10,1109 / tit.2007.911155 .

[8] Даннинг, Тед (1993). « Точные методы для статистики Surprise и Совпадение Архивированных 2011-12-15 в Wayback Machine », компьютерная лингвистика , том 19, выпуск 1 (март 1993 г.).

[9] Перейти ↑ Fisher, RA (1929). «Тесты значимости в гармоническом анализе» . Труды Королевского общества Лондона . 125 (796): 54–59. Bibcode : 1929RSPSA.125 ... 54F . DOI : 10.1098 / rspa.1929.0151 .

[10] G-тест независимости , G-тест согласия в Справочнике по биологической статистике, Университет Делавэра. (стр. 46–51, 64–69 в: McDonald, JH (2009) Handbook of Biological Statistics (2 ed.). Sparky House Publishing, Балтимор, Мэриленд).

[11] rg.apache.commons.math3.stat.inference.GTest

[1]