Информация о взаимодействии

Информация о взаимодействии представляет собой обобщение взаимной информации для более чем двух переменных.

Существует множество названий информации о взаимодействии, включая количество информации , ^[1] корреляцию информации , ^[2] коинформацию , ^[3] и просто взаимную информацию . ^[4] Информация о взаимодействии выражает количество информации (избыточность или синергия), связанную с набором переменных, помимо того, что присутствует в любом подмножестве этих переменных. В отличие от взаимной информации, информация взаимодействия может быть как положительной, так и отрицательной. Эти функции, их отрицательность и минимумы имеют прямую интерпретацию в алгебраической топологии . ^[5]

Условную взаимную информацию можно использовать для индуктивного определения информации о взаимодействии для любого конечного числа переменных следующим образом:

Некоторые авторы ^[6] определяют информацию о взаимодействии по-другому, меняя местами два вычитаемых члена в предыдущем уравнении. Это приводит к изменению знака для нечетного числа переменных.

Для трех переменных информация о взаимодействии задается выражением${\ Displaystyle \ {Х, Y, Z \}}$${\ Displaystyle я (Х; Y; Z)}$

где – взаимная информация между переменными и , а – условная взаимная информация между переменными и данным . Информация о взаимодействии симметрична , поэтому не имеет значения, какая переменная является обусловленной. Это легко увидеть, когда информация о взаимодействии записывается в терминах энтропии и совместной энтропии следующим образом:${\ Displaystyle I (Х; Y)}$${\ Displaystyle Х}$${\ Displaystyle Y}$${\ Displaystyle I (Х; Y \ середина Z)}$${\ Displaystyle Х}$${\ Displaystyle Y}$${\ Displaystyle Z}$

Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z, представленная нижним левым, нижним правым и верхним кружками соответственно. Информация о взаимодействии представлена ​​серой областью, и только она может быть отрицательной.