Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Энтропия передачи - это непараметрическая статистика, измеряющая объем направленной (асимметричной по времени) передачи информации между двумя случайными процессами . [1] [2] [3] Передача энтропии от процесса X к другому процессу Y представляет собой количество неопределенности уменьшается в значениях будущих из Y , зная прошлые значения X , данные прошлых значений Y . Более конкретно, если и для обозначают два случайных процесса и количество информации измеряется с использованием энтропии Шеннона, энтропия переноса может быть записана как:

где Н ( Х ) является Шеннон энтропия X . Приведенное выше определение переносимой энтропии было расширено другими типами энтропийных мер, такими как энтропия Реньи . [3] [4]

Передача энтропии условной взаимной информации , [5] [6] с историей под влиянием переменной в условии:

Передача энтропии сводится к причинности Грейнджера для векторных авторегрессионных процессов . [7] Следовательно, это выгодно, когда модельное предположение о причинности Грейнджера не выполняется, например, анализ нелинейных сигналов . [8] [9] Однако для точной оценки обычно требуется больше образцов. [10] Вероятности в формуле энтропии могут быть оценены с использованием различных подходов (биннинг, ближайшие соседи) или, чтобы уменьшить сложность, с помощью неравномерного встраивания. [11] Хотя изначально она была определена для двумерного анализа , переносная энтропия была расширена до многомерногоформы, либо обусловленные другими переменными потенциальных источников [12], либо с учетом переноса из коллекции источников [13], хотя эти формы снова требуют большего количества выборок.

Передача энтропия была использована для оценки функциональной связности в нейронах [13] [14] [15] и социальное влияние в социальных сетях . [8] Энтропия передачи - это конечная версия Направленной информации, которая была определена в 1990 году Джеймсом Мэсси [16] как , где обозначает вектор и обозначает . Направлена информация помещает важную роль в характеризации фундаментальных ограничений ( пропускная способность канала ) каналы связи с использованием или без обратной связи [17] [18] и азартные игры с причинно-следственной связью, [19]

См. Также [ править ]

  • Условная взаимная информация
  • Причинно-следственная связь
  • Причинность (физика)
  • Структурное моделирование уравнение
  • Причинно-следственная модель Рубина
  • Взаимная информация

Ссылки [ править ]

  1. ↑ Шрайбер, Томас (1 июля 2000 г.). «Передача измерительной информации». Письма с физическим обзором . 85 (2): 461–464. arXiv : nlin / 0001042 . Bibcode : 2000PhRvL..85..461S . DOI : 10.1103 / PhysRevLett.85.461 . PMID  10991308 .
  2. ^ Сет, Анил (2007). «Причинность Грейнджера» . Scholarpedia . 2 . п. 1667. Bibcode : 2007SchpJ ... 2.1667S . DOI : 10,4249 / scholarpedia.1667 .
  3. ^ a b Главачкова-Шиндлер, Катерина; Палус, М; Веймелька, М; Бхаттачарья, Дж. (1 марта 2007 г.). «Обнаружение причинно-следственной связи на основе теоретико-информационных подходов в анализе временных рядов». Отчеты по физике . 441 (1): 1–46. Bibcode : 2007PhR ... 441 .... 1H . CiteSeerX 10.1.1.183.1617 . DOI : 10.1016 / j.physrep.2006.12.004 . 
  4. ^ Джизба, Петр; Кляйнерт, Хаген; Шефаат, Мохаммад (15 мая 2012 г.). «Передача информации Реньи между финансовыми временными рядами». Physica A: Статистическая механика и ее приложения . 391 (10): 2971–2989. arXiv : 1106.5913 . Bibcode : 2012PhyA..391.2971J . DOI : 10.1016 / j.physa.2011.12.064 . ISSN 0378-4371 . 
  5. ^ Wyner, AD (1978). «Определение условной взаимной информации для произвольных ансамблей» . Информация и контроль . 38 (1): 51–59. DOI : 10.1016 / s0019-9958 (78) 90026-8 .
  6. ^ Добрушин, RL (1959). «Общая формулировка основной теоремы Шеннона в теории информации». Успехи матем. Наук . 14 : 3–104.
  7. ^ Барнетт, Лайонел (1 декабря 2009 г.). «Причинность Грейнджера и переносная энтропия эквивалентны для гауссовских переменных». Письма с физическим обзором . 103 (23): 238701. arXiv : 0910.4514 . Bibcode : 2009PhRvL.103w8701B . DOI : 10.1103 / PhysRevLett.103.238701 . PMID 20366183 . 
  8. ^ а б Вер Стиг, Грег; Галстян, Арам (2012). «Передача информации в социальных сетях». Материалы 21-й международной конференции по всемирной паутине (WWW '12) . ACM . С. 509–518. arXiv : 1110,2724 . Bibcode : 2011arXiv1110.2724V .
  9. ^ Lungarella, M .; Исигуро, К .; Kuniyoshi, Y .; Оцу, Н. (1 марта 2007 г.). «Методы количественной оценки причинной структуры двумерных временных рядов». Международный журнал бифуркаций и хаоса . 17 (3): 903–921. Bibcode : 2007IJBC ... 17..903L . CiteSeerX 10.1.1.67.3585 . DOI : 10.1142 / S0218127407017628 . 
  10. ^ Переда, E; Кирога, RQ; Бхаттачарья, Дж. (Сентябрь – октябрь 2005 г.). «Нелинейный многомерный анализ нейрофизиологических сигналов». Прогресс нейробиологии . 77 (1–2): 1–37. arXiv : nlin / 0510077 . Bibcode : 2005nlin ..... 10077P . DOI : 10.1016 / j.pneurobio.2005.10.003 . PMID 16289760 . 
  11. ^ Монтальто, А; Faes, L; Маринаццо, Д. (октябрь 2014 г.). "MuTE: набор инструментов MATLAB для сравнения установленных и новых оценок многомерной энтропии переноса" . PLOS ONE . 9 (10): e109462. Bibcode : 2014PLoSO ... 9j9462M . DOI : 10.1371 / journal.pone.0109462 . PMC 4196918 . PMID 25314003 .  
  12. ^ Лизье, Джозеф; Прокопенко Михаил; Зомая, Альберт (2008). «Локальная передача информации как пространственно-временной фильтр для сложных систем». Physical Review E . 77 (2): 026110. arXiv : 0809.3275 . Bibcode : 2008PhRvE..77b6110L . DOI : 10.1103 / PhysRevE.77.026110 . PMID 18352093 . 
  13. ^ a b Лизьер, Джозеф; Хайнцле, Якоб; Хорстманн, Аннетт; Хейнс, Джон-Дилан; Прокопенко, Михаил (2011). «Многофакторные теоретико-информационные меры выявляют направленную информационную структуру и актуальные изменения в связности фМРТ». Журнал вычислительной нейробиологии . 30 (1): 85–107. DOI : 10.1007 / s10827-010-0271-2 . PMID 20799057 . 
  14. ^ Висенте, Рауль; Вибрал, Майкл; Линднер, Майкл; Пипа, Гордон (февраль 2011 г.). «Передача энтропии - безмодельная мера эффективного взаимодействия для нейробиологии» . Журнал вычислительной нейробиологии . 30 (1): 45–67. DOI : 10.1007 / s10827-010-0262-3 . PMC 3040354 . PMID 20706781 .  
  15. ^ Шимоно, Масанори; Беггс, Джон (октябрь 2014 г.). «Функциональные кластеры, узлы и сообщества в кортикальном микроконнектоме» . Кора головного мозга . 25 (10): 3743–57. DOI : 10.1093 / cercor / bhu252 . PMC 4585513 . PMID 25336598 .  
  16. ^ Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и направленная информация» (ISITA). CiteSeerX 10.1.1.36.5688 .  Cite journal requires |journal= (help)
  17. ^ Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации . 55 (2): 644–662. arXiv : cs / 0608070 . DOI : 10.1109 / TIT.2008.2009849 .
  18. Перейти ↑ Kramer, G. (январь 2003 г.). «Результаты емкости для дискретной сети без памяти». IEEE Transactions по теории информации . 49 (1): 4–21. DOI : 10.1109 / TIT.2002.806135 .
  19. ^ Пермутер, Хаим Х .; Ким, Ён-Хан; Вайсман, Цачи (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». IEEE Transactions по теории информации . 57 (6): 3248–3259. arXiv : 0912.4872 . DOI : 10.1109 / TIT.2011.2136270 .

Внешние ссылки [ править ]

  • «Панель инструментов передачи энтропии» . Код Google ., набор инструментов, разработанный на C ++ и MATLAB , для вычисления энтропии передачи между цепочками импульсов.
  • «Набор инструментов динамики информации Java (JIDT)» . GitHub . 2019-01-16., набор инструментов, разработанный на Java и используемый в MATLAB , GNU Octave и Python , для вычисления энтропии переноса и связанных теоретико-информационных показателей как для дискретных, так и для непрерывных данных.
  • «Набор инструментов для многомерной энтропии переноса (MuTE)» . GitHub . 2019-01-09., набор инструментов, разработанный в MATLAB , для вычисления энтропии переноса с различными оценками.