Точечная взаимная информация

Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом . Пожалуйста, помогите улучшить статью , предоставив читателю больше контекста . ( Февраль 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Точечная взаимная информация ( PMI ) ^[1] или точечная взаимная информация - это мера связи, используемая в теории информации и статистике . В отличие от взаимной информации (MI), которая строится на PMI, она относится к отдельным событиям, тогда как MI относится к среднему значению всех возможных событий.

Определение [ править ]

PMI пары исходов x и y, принадлежащих дискретным случайным величинам X и Y, количественно оценивает несоответствие между вероятностью их совпадения с учетом их совместного распределения и их индивидуальных распределений при условии независимости . Математически:

${\displaystyle \operatorname {pmi} (x;y)\equiv \log {\frac {p(x,y)}{p(x)p(y)}}=\log {\frac {p(x|y)}{p(x)}}=\log {\frac {p(y|x)}{p(y)}}.}$

Взаимная информация (МИ) от случайных величин X и Y является ожидаемым значением PMI (по всем возможным результатам).

Мера симметричная ( ). Он может принимать положительные или отрицательные значения, но равно нулю , если X и Y являются независимыми . Обратите внимание, что даже если PMI может быть отрицательным или положительным, его ожидаемый результат по всем совместным мероприятиям (MI) положительный. PMI максимизируется, когда X и Y полностью связаны (то есть или ), что дает следующие границы:${\displaystyle \operatorname {pmi} (x;y)=\operatorname {pmi} (y;x)}$${\displaystyle p(x|y)}$${\displaystyle p(y|x)=1}$

${\displaystyle -\infty \leq \operatorname {pmi} (x;y)\leq \min \left[-\log p(x),-\log p(y)\right].}$

Наконец, будет увеличиваться, если зафиксировано, но уменьшается.${\displaystyle \operatorname {pmi} (x;y)}$${\displaystyle p(x|y)}$${\displaystyle p(x)}$

Вот пример для иллюстрации:

Используя эту таблицу, мы можем маргинализировать, чтобы получить следующую дополнительную таблицу для отдельных распределений:

В этом примере мы можем вычислить четыре значения для . Используя логарифмы с основанием 2:${\displaystyle pmi(x;y)}$

(Для справки, тогда взаимная информация будет 0,2141709)${\displaystyle \operatorname {I} (X;Y)}$

Сходство с взаимной информацией [ править ]

Точечная взаимная информация имеет многие из тех же отношений, что и взаимная информация. Особенно,

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)&=&h(x)+h(y)-h(x,y)\\&=&h(x)-h(x|y)\\&=&h(y)-h(y|x)\end{aligned}}}$

Где это собственная информация , или .${\displaystyle h(x)}$${\displaystyle -\log _{2}p(X=x)}$

Нормализованная точечная взаимная информация (npmi) [ править ]

Точечная взаимная информация может быть нормализована между [-1, + 1], что приводит к -1 (в пределе), если они никогда не встречаются вместе, 0 для независимости и +1 для полного совпадения . ^[2]

${\displaystyle \operatorname {npmi} (x;y)={\frac {\operatorname {pmi} (x;y)}{h(x,y)}}}$

Где совместная самоинформация , которая оценивается как .${\displaystyle h(x,y)}$${\displaystyle -\log _{2}p(X=x,Y=y)}$

Варианты PMI [ править ]

Помимо упомянутого выше npmi, у PMI есть много других интересных вариантов. Сравнительное исследование этих вариантов можно найти в ^[3]

Цепное правило для pmi [ править ]

Как и взаимная информация , ^[4] точечная взаимная информация подчиняется правилу цепочки , то есть

${\displaystyle \operatorname {pmi} (x;yz)=\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)}$

Это легко доказывается:

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z|y)&{}=\log {\frac {p(x,y)}{p(x)p(y)}}+\log {\frac {p(x,z|y)}{p(x|y)p(z|y)}}\\&{}=\log \left[{\frac {p(x,y)}{p(x)p(y)}}{\frac {p(x,z|y)}{p(x|y)p(z|y)}}\right]\\&{}=\log {\frac {p(x|y)p(y)p(x,z|y)}{p(x)p(y)p(x|y)p(z|y)}}\\&{}=\log {\frac {p(x,yz)}{p(x)p(yz)}}\\&{}=\operatorname {pmi} (x;yz)\end{aligned}}}$

Приложения [ править ]

В компьютерной лингвистике PMI используется для поиска словосочетаний и ассоциаций между словами. Например, подсчет появления и одновременного появления слов в текстовом корпусе можно использовать для аппроксимации вероятностей и соответственно. В следующей таблице показано количество пар слов, получивших наибольшее и наименьшее количество баллов PMI в первых 50 миллионах слов в Википедии (дамп за октябрь 2015 г.) с фильтрацией по 1000 или более совпадений. Частоту каждого подсчета можно получить, разделив его значение на 50 000 952. (Примечание: в этом примере для расчета значений PMI используется натуральный логарифм вместо логарифмической базы 2)${\displaystyle p(x)}$${\displaystyle p(x,y)}$

Хорошие пары словосочетаний имеют высокий PMI, потому что вероятность совпадения лишь немного ниже, чем вероятность появления каждого слова. И наоборот, пара слов, вероятность появления которых значительно выше, чем вероятность их совместного появления, получает небольшую оценку PMI.

Ссылки [ править ]

• Фано, RM (1961). "Глава 2". Передача информации: статистическая теория связи . MIT Press, Кембридж, Массачусетс. ISBN 978-0262561693.

Внешние ссылки [ править ]

• Демонстрация на Rensselaer MSR Server (значения PMI нормализованы между 0 и 1)