Информация о взаимодействии - это обобщение взаимной информации для более чем двух переменных.
Существует много названий информации о взаимодействии, включая количество информации , [1] корреляцию информации , [2] совместную информацию , [3] и просто взаимную информацию . [4] Информация о взаимодействии выражает количество информации (избыточность или синергизм), связанное с набором переменных, помимо той, которая присутствует в любом подмножестве этих переменных. В отличие от взаимной информации, информация о взаимодействии может быть как положительной, так и отрицательной. Эти функции, их отрицательность и минимумы имеют прямую интерпретацию в алгебраической топологии . [5]
Определение
Условная взаимная информация может быть использована для индуктивно определить информацию взаимодействия для любого конечного числа переменных следующим образом :
где
Некоторые авторы [6] по-разному определяют информацию о взаимодействии, меняя местами два вычитаемых члена в предыдущем уравнении. Это приводит к изменению знака нечетного числа переменных.
Для трех переменных , информация о взаимодействии дан кем-то
где взаимная информация между переменными а также , а также является условной взаимной информации между переменными а также дано . Информация о взаимодействии симметрична , поэтому не имеет значения, какая переменная обусловлена. Это легко увидеть, если информация о взаимодействии записана в терминах энтропии и совместной энтропии следующим образом:
В общем, для набора переменных , информацию о взаимодействии можно записать в следующем виде (сравните с приближением Кирквуда ):
Для трех переменных информация о взаимодействии измеряет влияние переменной. об объеме информации, передаваемой между а также . Потому что срок может быть больше, чем , информация о взаимодействии может быть как положительной, так и отрицательной. Это произойдет, например, когда а также являются независимыми, но не условно независимыми, учитывая . Информация о положительном взаимодействии указывает на то, что переменнаяподавляет (т. е. объясняет или частично объясняет ) корреляцию между а также , тогда как информация об отрицательном взаимодействии указывает, что переменная облегчает или усиливает корреляцию.
Характеристики
Информация о взаимодействии ограничена. В случае трех переменных он ограничен [4]
Если три переменные образуют цепь Маркова , тогда , но . Следовательно
Примеры
Информация о положительном взаимодействии
Информация о положительном взаимодействии кажется гораздо более естественной, чем информация об отрицательном взаимодействии, в том смысле, что такие объяснительные эффекты типичны для структур общего характера. Например, облака вызывают дождь, а также закрывают солнце; следовательно, корреляция между дождем и темнотой частично объясняется наличием облаков,. Результат - положительная информация о взаимодействии.
Информация об отрицательном взаимодействии
Двигатель автомобиля может не запуститься из-за разряда аккумуляторной батареи или забитого топливного насоса. Обычно мы предполагаем, что выход из строя аккумуляторной батареи и блокировка топливного насоса являются независимыми событиями,. Но зная, что автомобиль не заводится, если проверка показывает, что аккумулятор в хорошем состоянии, мы можем сделать вывод, что топливный насос должен быть заблокирован. Следовательно, и результат - отрицательная информация о взаимодействии.
Сложность интерпретации
Возможная негативность информации о взаимодействии может быть источником некоторой путаницы. [3] Многие авторы приняли нулевую информацию о взаимодействии как признак того, что три или более случайных величины не взаимодействуют, но такая интерпретация неверна. [7]
Чтобы увидеть, насколько сложной может быть интерпретация, рассмотрим набор из восьми независимых двоичных переменных. . Агломерируйте эти переменные следующим образом:
Поскольку перекрывают друг друга (избыточны) по трем двоичным переменным , мы ожидаем, что информация о взаимодействии в равной биты, которые он делает. Однако теперь рассмотрим агломерированные переменные
Это те же переменные, что и раньше, с добавлением . Тем не мение, в этом случае фактически равно бит, указывающий на меньшую избыточность. Это правильно в том смысле, что
но по-прежнему трудно интерпретировать.
Использует
- Якулин и Братко (2003b) предлагают алгоритм машинного обучения, который использует информацию о взаимодействии.
- Киллиан, Кравиц и Гилсон (2007) используют расширение взаимной информации для извлечения оценок энтропии из молекулярного моделирования.
- ЛеВин и Вайнштейн (2014) используют информацию о взаимодействии и другие меры информации о N-телах для количественной оценки аллостерических связей в молекулярном моделировании.
- Мур и др. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) и Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) демонстрируют использование информации о взаимодействии для анализа взаимодействия генов и генов со средой, связанных со сложными заболеваниями.
- Панди и Саркар (2017) используют информацию о взаимодействии в космологии для изучения влияния крупномасштабной окружающей среды на свойства галактик.
- Доступен пакет python для вычисления всего многомерного взаимодействия или взаимной информации, условной взаимной информации, совместных энтропий, общих корреляций, информационного расстояния в наборе данных из n переменных. [8]
Рекомендации
- ↑ Тинг, Ху Куо (январь 1962 г.). «Об объеме информации» . Теория вероятностей и ее приложения . 7 (4): 439–447. DOI : 10.1137 / 1107041 . ISSN 0040-585X .
- ^ Вольф, Дэвид (1 мая 1996 г.). Обобщение взаимной информации как информации между набором переменных: иерархия функций корреляции информации и информационная структура многоагентных систем (Технический отчет). Исследовательский центр НАСА Эймса.
- ^ а б Белл, Энтони (2003). Решетка соинформации . 4-й Int. Symp. Независимый компонентный анализ и слепое разделение источников.
- ^ а б Йунг, Р.В. (май 1991 г.). «Новый взгляд на информационные меры Шеннона» . IEEE Transactions по теории информации . 37 (3): 466–474. DOI : 10.1109 / 18.79902 . ISSN 0018-9448 .
- ^ Бодо, Пьер; Беннекен, Даниэль (13 мая 2015 г.). «Гомологическая природа энтропии» . Энтропия . 17 (5): 3253–3318. DOI : 10.3390 / e17053253 . ISSN 1099-4300 .
- ^ Макгилл, Уильям Дж. (Июнь 1954 г.). «Многомерная передача информации» . Психометрика . 19 (2): 97–116. DOI : 10.1007 / bf02289159 . ISSN 0033-3123 .
- ^ Криппендорф, Клаус (август 2009 г.). «Информация о взаимодействиях в сложных системах» . Международный журнал общих систем . 38 (6): 669–680. DOI : 10.1080 / 03081070902993160 . ISSN 0308-1079 .
- ^ «InfoTopo: Анализ топологической информации. Глубокое статистическое обучение без учителя и с учителем - Обмен файлами - Github» . github.com/pierrebaudot/infotopopy/ . Проверено 26 сентября 2020 года .
- Baudot, P .; Беннекен, Д. (2015). «Гомологическая природа энтропии» (PDF) . Энтропия . 17 (5): 1–66. Bibcode : 2015Entrp..17.3253B . DOI : 10.3390 / e17053253 .
- Белл, AJ (2003), Решетка совместной информации [1]
- Фано, Р.М. (1961), Передача информации: статистическая теория коммуникаций , MIT Press, Кембридж, Массачусетс.
- Гарнер WR (1962). Неопределенность и структура как психологические концепции , JohnWiley & Sons, Нью-Йорк.
- Хан, TS (1978). «Неотрицательные энтропийные меры многомерных симметричных корреляций» . Информация и контроль . 36 (2): 133–156. DOI : 10.1016 / s0019-9958 (78) 90275-9 .
- Хан, Т.С. (1980). «Множественная взаимная информация и множественные взаимодействия в частотных данных» . Информация и контроль . 46 : 26–45. DOI : 10.1016 / s0019-9958 (80) 90478-7 .
- Ху Го Тин (1962), Об объеме информации. Теория вероятн. Appl., 7 (4), 439-44. PDF
- Якулин А. и Братко И. (2003a). Анализ зависимостей атрибутов, в Северной Лавре \ quad {c}, Д. Гамбергер, Л. Тодоровски и Х. Блокил, ред., Труды 7-й Европейской конференции по принципам и практике открытия знаний в базах данных , Springer, Цавтат-Дубровник, Хорватия, стр. 229–240.
- Якулин А. и Братко И. (2003b). Количественная оценка и визуализация взаимодействий атрибутов [2] .
- Марголин А; Ван, К; Калифано, А; Неменман, I (2010). «Многомерная зависимость и вывод генетических сетей». ИЭПП Сист Биол . 4 (6): 428–440. arXiv : 1001.1681 . DOI : 10,1049 / МТВ-syb.2010.0009 . PMID 21073241 . S2CID 14280921 .
- Макгилл, WJ (1954). «Многомерная передача информации». Психометрика . 19 (2): 97–116. DOI : 10.1007 / bf02289159 . S2CID 126431489 .
- Мур Дж. Х., Гилберт Дж. С., Цай СТ, Чан Ф. Т., Холден Т., Барни Н., Уайт BC (2006). Гибкая вычислительная основа для обнаружения, описания и интерпретации статистических паттернов эпистаза в генетических исследованиях восприимчивости человека к болезням, Журнал теоретической биологии 241 , 252-261. [3]
- Неменман I (2004). Теория информации, многомерная зависимость и генетический сетевой вывод [4] .
- Перл, Дж. (1988), Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода , Морган Кауфманн, Сан-Матео, Калифорния.
- Tsujishita, T (1995), «О тройной взаимной информации», « Достижения прикладной математики» 16 , 269–274.
- Chanda, P; Чжан, А; Бразо, Д; Sucheston, L; Freudenheim, JL; Амброзон, C; Раманатан, М. (2007). «Теоретико-информационные метрики для визуализации взаимодействий гена и окружающей среды» . Американский журнал генетики человека . 81 (5): 939–63. DOI : 10.1086 / 521878 . PMC 2265645 . PMID 17924337 .
- Chanda, P; Sucheston, L; Чжан, А; Бразо, Д; Freudenheim, JL; Амброзон, C; Раманатан, М. (2008). «AMBIENCE: новый подход и эффективный алгоритм для выявления информативных генетических и экологических ассоциаций со сложными фенотипами» . Генетика . 180 (2): 1191–210. DOI : 10.1534 / genetics.108.088542 . PMC 2567367 . PMID 18780753 .
- Киллиан, Би Джей; Kravitz, JY; Гилсон, МК (2007). «Извлечение конфигурационной энтропии из молекулярного моделирования с помощью приближения расширения» . J. Chem. Phys . 127 (2): 024107. Bibcode : 2007JChPh.127b4107K . DOI : 10.1063 / 1.2746329 . PMC 2707031 . PMID 17640119 .
- Левин М.В., Вайнштейн Х (2014), NbIT - Анализ аллостерических механизмов на основе новой теории информации выявляет остатки, которые лежат в основе функции переносчика лейцина LeuT. Вычислительная биология PLoS . [5]
- Панди, Бисваджит; Саркар, Суман (2017). «Насколько галактика знает о своем крупномасштабном окружении ?: Теоретическая перспектива». Ежемесячные уведомления о письмах Королевского астрономического общества . 467 (1): L6. arXiv : 1611.00283 . Bibcode : 2017MNRAS.467L ... 6P . DOI : 10.1093 / mnrasl / slw250 . S2CID 119095496 .
- https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
- Енг Р.В. (1992). Новый взгляд на информационные меры Шеннона. в IEEE Transactions по теории информации. [6]