Общая корреляция

---

В теории вероятностей и, в частности, в теории информации полная корреляция (Ватанабэ, 1960) является одним из нескольких обобщений взаимной информации . Он также известен как многомерное ограничение (Garner, 1962) или мультиинформация (Studený & Vejnarová, 1999). Он количественно определяет избыточность или зависимость среди набора n случайных переменных.

Для заданного набора n случайных величин полная корреляция определяется как расхождение Кульбака-Лейблера от совместного распределения к независимому распределению ,${\ displaystyle \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n})}$${\ displaystyle p (X_ {1}, \ ldots, X_ {n})}$${\ displaystyle p (X_ {1}) p (X_ {2}) \ cdots p (X_ {n})}$

где – информационная энтропия переменной , а – совместная энтропия набора переменных . В терминах дискретных распределений вероятностей по переменным полная корреляция определяется выражением${\ Displaystyle Н (X_ {я})}$${\ Displaystyle X_ {я} \,}$${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$

---