Направленная информация

Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом . Пожалуйста, помогите улучшить статью , предоставив читателю больше контекста . ( Сентябрь 2016 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Направленная информация , является мерой теории информации, которая измеряет количество информации, которая перетекает от процесса к , где обозначает вектор и обозначает . Термин направленная информация был введен Джеймсом Мэсси и определяется как ${\ Displaystyle I (X ^ {n} \ к Y ^ {n})}$ ${\ displaystyle X ^ {n}}$ ${\ displaystyle Y ^ {n}}$ ${\ displaystyle X ^ {n}}$ ${\ Displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ ${\ displaystyle Y ^ {n}}$ ${\ displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X_{i:1};Y_{i}|Y_{i-1:1})

,

где - условная взаимная информация . Эквивалентное определение, но с немного другими обозначениями $I(X_{i:1};Y_{i}|Y_{i-1:1})$ $I(X_{1},X_{2},...,X_{i};Y_{i}|Y_{1},Y_{2},...,Y_{i-1})$

I(X^{n}\to Y^{n})\triangleq \sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})

,

где . $X^{i}\triangleq X_{i:1}\triangleq (X_{1},X_{2},...,X_{i})$

Направленная информация имеет множество приложений в задачах, где причинно-следственная связь играет важную роль, например, пропускная способность канала с обратной связью, ^[1]^[2] пропускная способность дискретных сетей без памяти с обратной связью, ^[3] азартные игры с причинной побочной информацией, ^[4] сжатие с причинно-следственная информация, ^[5] и в настройках связи управления в реальном времени , ^[6]^[7] статистическая физика. ^[8]

Оценка и оптимизация направленной информации [ править ]

Оценить и оптимизировать направленную информацию сложно, потому что в ней могут быть большие термины . Во многих случаях кто-то заинтересован в оптимизации предельного среднего, то есть когда оно возрастает до бесконечности, называемого многобуквенным выражением. $n$ $n$ $n$

Оптимизация [ править ]

Максимизация направленной информации - фундаментальная проблема теории информации. Для фиксированной последовательности распределений каналов цель состоит в оптимизации распределений входных каналов . $\{P(y_{i}|x^{i},y^{i-1}\}_{i=1}^{n})$ $I(X^{n}\to Y^{n})$ $\{P(x_{i}|x^{i-1},y^{i-1}\}_{i=1}^{n})$

Существуют алгоритмы оптимизации направленной информации, основанные на Блахуте-Аримото , ^[9] Марковском процессе принятия решений , ^[10]^[11]^[12]^[13] Рекуррентной нейронной сети , ^[14] обучении с подкреплением . ^[15] и графические методы (Q-графы . ^[16]^[17] В случае Блахута-Аримото , ^[18] основная идея состоит в том, чтобы начать с последнего элемента направленной информации и вернуться назад. из процесса принятия Маркова , ^[19]^[20]^[21]^[22]Основная идея состоит в том, чтобы преобразовать оптимизацию в бесконечный горизонт среднего вознаграждения марковского процесса принятия решений . Для рекуррентной нейронной сети ^[23] основная идея состоит в том, чтобы смоделировать входное распределение с использованием рекуррентной нейронной сети и оптимизировать параметры с помощью градиентного спуска . Для обучения с подкреплением ^[24] основная идея состоит в том, чтобы решить марковскую формулировку процесса принятия решения о способности с использованием инструментов обучения с подкреплением, которые позволяют нам иметь дело с большим или даже непрерывным алфавитом.

Оценка [ править ]

Оценка направленной информации из заданных выборок является очень сложной задачей, поскольку выражение направленной информации зависит не от выборок, а от совместного распределения, которое неизвестно. Существует несколько алгоритмов, основанных на весах контекстного дерева ^[25] и на эмпирических параметрических распределениях ^[26] и использующих долговременную краткосрочную память . ^[27] $\{P(x_{i},y_{i}|x^{i-1},y^{i-1}\}_{i=1}^{n})$

Ссылки [ править ]

^ Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и направленная информация» (ISITA). CiteSeerX 10.1.1.36.5688 . Cite journal requires |journal= (help)
^ Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации . 55 (2): 644–662. arXiv : cs / 0608070 . DOI : 10.1109 / TIT.2008.2009849 . S2CID 13178 .
Перейти ↑ Kramer, G. (январь 2003 г.). «Результаты емкости для дискретной сети без памяти». IEEE Transactions по теории информации . 49 (1): 4–21. DOI : 10.1109 / TIT.2002.806135 .
^ Пермутер, Хаим Х .; Ким, Ён-Хан; Вайсман, Цачи (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». IEEE Transactions по теории информации . 57 (6): 3248–3259. arXiv : 0912.4872 . DOI : 10.1109 / TIT.2011.2136270 . S2CID 11722596 .
^ Симеоне, Освальдо; Пермутер, Хаим Анри (июнь 2013 г.). «Исходное кодирование, когда дополнительная информация может быть отложена». IEEE Transactions по теории информации . 59 (6): 3607–3618. arXiv : 1109.1293 . DOI : 10.1109 / TIT.2013.2248192 . S2CID 3211485 .
^ Charalambous, Charalambos D .; Ставру, Фотиос А. (август 2016 г.). «Направленная информация об абстрактных пространствах: свойства и вариационные равенства». IEEE Transactions по теории информации . 62 (11): 6019–6052. arXiv : 1302.3971 . DOI : 10.1109 / TIT.2016.2604846 . S2CID 8107565 .
^ Танака, Такаши; Исфахани, Пейман Мохаджерин; Миттер, Санджой К. (январь 2018 г.). «Управление LQG с минимально направленной информацией: полуопределенный подход к программированию» . IEEE Transactions по автоматическому контролю . 63 (1): 37–52. arXiv : 1510.04214 . DOI : 10.1109 / TAC.2017.2709618 . S2CID 1401958 .
^ Винклер, Дрор А; Permuter, Haim H; Мерхав, Нери (20 апреля 2016 г.). «Аналогия между азартными играми и производственным отмерением». Журнал статистической механики: теория и эксперимент . 2016 (4): 043403. arXiv : 1404.6788 . Bibcode : 2016JSMTE..04.3403V . DOI : 10.1088 / 1742-5468 / 2016/04/043403 . S2CID 124719237 .
^ Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). «Расширение алгоритма Блахута-Аримото для максимизации направленной информации». IEEE Transactions по теории информации . 59 (1): 204–222. arXiv : 1012,5071 . DOI : 10.1109 / TIT.2012.2214202 . S2CID 3115749 .
^ Пермутер, Хаим; Кафф, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации . 54 (7): 3150–3165. arXiv : cs / 0610047 . DOI : 10.1109 / TIT.2008.924681 . Смирновский 1265 .
^ Elishco, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации . 60 (9): 5138–5149. arXiv : 1205,4674 . DOI : 10.1109 / TIT.2014.2331951 . S2CID 9761759 .
^ Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации . 62 (1): 8–22. DOI : 10.1109 / TIT.2015.2495239 . S2CID 476381 .
^ Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC с ограничением по входу $ (0, k) $ -RLL». IEEE Transactions по теории информации . 65 (7): 4097–4114. arXiv : 1712.02690 . DOI : 10.1109 / TIT.2019.2903252 . S2CID 86582654 .
^ Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv : 2003.04179 [ cs.IT ].
^ Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv : 2008.07983 [ cs.IT ].
^ Сабаг, Орон; Пермутер, Хаим Генри; Пфистер, Генри (март 2017 г.). "Однобуквенная верхняя граница для обратной связи однотипных каналов с конечным числом состояний". IEEE Transactions по теории информации . 63 (3): 1392–1409.
^ Сабаг, Орон; Хулейхель, Башар; Пермутер, Хаим Генри (2020). «Графические энкодеры и их характеристики для конечных каналов с обратной связью». Транзакции IEEE по коммуникациям . 68 (4): 2106–2117.
^ Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). «Расширение алгоритма Блахута-Аримото для максимизации направленной информации». IEEE Transactions по теории информации . 59 (1): 204–222. arXiv : 1012,5071 . DOI : 10.1109 / TIT.2012.2214202 . S2CID 3115749 .
^ Пермутер, Хаим; Кафф, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации . 54 (7): 3150–3165. arXiv : cs / 0610047 . DOI : 10.1109 / TIT.2008.924681 . Смирновский 1265 .
^ Elishco, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации . 60 (9): 5138–5149. arXiv : 1205,4674 . DOI : 10.1109 / TIT.2014.2331951 . S2CID 9761759 .
^ Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации . 62 (1): 8–22. DOI : 10.1109 / TIT.2015.2495239 . S2CID 476381 .
^ Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC с ограничением по входу $ (0, k) $ -RLL». IEEE Transactions по теории информации . 65 (7): 4097–4114. arXiv : 1712.02690 . DOI : 10.1109 / TIT.2019.2903252 . S2CID 86582654 .
^ Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv : 2003.04179 [ cs.IT ].
^ Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv : 2008.07983 [ cs.IT ].
^ Цзяо, Цзяньтао; Permuter, Haim H .; Чжао, Лэй; Ким, Ён-Хан; Вайсман, Цачи (октябрь 2013 г.). «Универсальная оценка направленной информации». IEEE Transactions по теории информации . 59 (10): 6220–6242. arXiv : 1201.2334 . DOI : 10.1109 / TIT.2013.2267934 . S2CID 10855063 .
^ Куинн, Кристофер Дж .; Кияваш, негар; Коулман, Тодд П. (декабрь 2015 г.). «Направленные информационные графы». IEEE Transactions по теории информации . 61 (12): 6887–6909. arXiv : 1204.2003 . DOI : 10.1109 / TIT.2015.2478440 . S2CID 3121664 .
^ Aharoni, Z .; Цур, Д .; Goldfeld, Z .; Пермутер, ДХ (июнь 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». Международный симпозиум IEEE по теории информации (ISIT) 2020 : 2014–2019. arXiv : 2003.04179 . DOI : 10.1109 / ISIT44484.2020.9174109 .

[1] Мэсси, Джеймс (1990). «Причинно-следственная связь, обратная связь и направленная информация» (ISITA). CiteSeerX 10.1.1.36.5688 . Cite journal requires |journal= (help)

[2] Пермутер, Хаим Генри; Вайсман, Цачи; Голдсмит, Андреа Дж. (Февраль 2009 г.). «Конечные каналы с инвариантной во времени детерминированной обратной связью». IEEE Transactions по теории информации . 55 (2): 644–662. arXiv : cs / 0608070 . DOI : 10.1109 / TIT.2008.2009849 . S2CID 13178 .

[3] Перейти ↑ Kramer, G. (январь 2003 г.). «Результаты емкости для дискретной сети без памяти». IEEE Transactions по теории информации . 49 (1): 4–21. DOI : 10.1109 / TIT.2002.806135 .

[4] Пермутер, Хаим Х .; Ким, Ён-Хан; Вайсман, Цачи (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». IEEE Transactions по теории информации . 57 (6): 3248–3259. arXiv : 0912.4872 . DOI : 10.1109 / TIT.2011.2136270 . S2CID 11722596 .

[5] Симеоне, Освальдо; Пермутер, Хаим Анри (июнь 2013 г.). «Исходное кодирование, когда дополнительная информация может быть отложена». IEEE Transactions по теории информации . 59 (6): 3607–3618. arXiv : 1109.1293 . DOI : 10.1109 / TIT.2013.2248192 . S2CID 3211485 .

[6] Charalambous, Charalambos D .; Ставру, Фотиос А. (август 2016 г.). «Направленная информация об абстрактных пространствах: свойства и вариационные равенства». IEEE Transactions по теории информации . 62 (11): 6019–6052. arXiv : 1302.3971 . DOI : 10.1109 / TIT.2016.2604846 . S2CID 8107565 .

[7] Танака, Такаши; Исфахани, Пейман Мохаджерин; Миттер, Санджой К. (январь 2018 г.). «Управление LQG с минимально направленной информацией: полуопределенный подход к программированию» . IEEE Transactions по автоматическому контролю . 63 (1): 37–52. arXiv : 1510.04214 . DOI : 10.1109 / TAC.2017.2709618 . S2CID 1401958 .

[8] Винклер, Дрор А; Permuter, Haim H; Мерхав, Нери (20 апреля 2016 г.). «Аналогия между азартными играми и производственным отмерением». Журнал статистической механики: теория и эксперимент . 2016 (4): 043403. arXiv : 1404.6788 . Bibcode : 2016JSMTE..04.3403V . DOI : 10.1088 / 1742-5468 / 2016/04/043403 . S2CID 124719237 .

[9] Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). «Расширение алгоритма Блахута-Аримото для максимизации направленной информации». IEEE Transactions по теории информации . 59 (1): 204–222. arXiv : 1012,5071 . DOI : 10.1109 / TIT.2012.2214202 . S2CID 3115749 .

[10] Пермутер, Хаим; Кафф, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации . 54 (7): 3150–3165. arXiv : cs / 0610047 . DOI : 10.1109 / TIT.2008.924681 . Смирновский 1265 .

[11] Elishco, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации . 60 (9): 5138–5149. arXiv : 1205,4674 . DOI : 10.1109 / TIT.2014.2331951 . S2CID 9761759 .

[12] Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации . 62 (1): 8–22. DOI : 10.1109 / TIT.2015.2495239 . S2CID 476381 .

[13] Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC с ограничением по входу $ (0, k) $ -RLL». IEEE Transactions по теории информации . 65 (7): 4097–4114. arXiv : 1712.02690 . DOI : 10.1109 / TIT.2019.2903252 . S2CID 86582654 .

[14] Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv : 2003.04179 [ cs.IT ].

[15] Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv : 2008.07983 [ cs.IT ].

[16] Сабаг, Орон; Пермутер, Хаим Генри; Пфистер, Генри (март 2017 г.). "Однобуквенная верхняя граница для обратной связи однотипных каналов с конечным числом состояний". IEEE Transactions по теории информации . 63 (3): 1392–1409.

[17] Сабаг, Орон; Хулейхель, Башар; Пермутер, Хаим Генри (2020). «Графические энкодеры и их характеристики для конечных каналов с обратной связью». Транзакции IEEE по коммуникациям . 68 (4): 2106–2117.

[18] Найсс, Иддо; Пермутер, Хаим Х. (январь 2013 г.). «Расширение алгоритма Блахута-Аримото для максимизации направленной информации». IEEE Transactions по теории информации . 59 (1): 204–222. arXiv : 1012,5071 . DOI : 10.1109 / TIT.2012.2214202 . S2CID 3115749 .

[19] Пермутер, Хаим; Кафф, Пол; Ван Рой, Бенджамин; Вайсман, Цачи (июль 2008 г.). «Пропускная способность люка с обратной связью». IEEE Transactions по теории информации . 54 (7): 3150–3165. arXiv : cs / 0610047 . DOI : 10.1109 / TIT.2008.924681 . Смирновский 1265 .

[20] Elishco, Охад; Пермутер, Хаим (сентябрь 2014 г.). «Пропускная способность и кодирование канала Изинга с обратной связью». IEEE Transactions по теории информации . 60 (9): 5138–5149. arXiv : 1205,4674 . DOI : 10.1109 / TIT.2014.2331951 . S2CID 9761759 .

[21] Сабаг, Орон; Permuter, Haim H .; Кашьяп, Навин (январь 2016 г.). «Пропускная способность канала двоичного стирания с ограничением на ввод без последовательностей». IEEE Transactions по теории информации . 62 (1): 8–22. DOI : 10.1109 / TIT.2015.2495239 . S2CID 476381 .

[22] Пелед, Ори; Сабаг, Орон; Пермутер, Хаим Х. (июль 2019 г.). «Пропускная способность обратной связи и кодирование для BEC с ограничением по входу $ (0, k) $ -RLL». IEEE Transactions по теории информации . 65 (7): 4097–4114. arXiv : 1712.02690 . DOI : 10.1109 / TIT.2019.2903252 . S2CID 86582654 .

[23] Ахарони, Зив; Цур, Дор; Гольдфельд, Зив; Пермутер, Хаим Генри (16 мая 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». arXiv : 2003.04179 [ cs.IT ].

[24] Ахарони, Зив; Сабаг, Орон; Пермутер, Хаим Анри (18 августа 2020 г.). «Оценка обучения с подкреплением и решение для обратной связи канала Изинга с большим алфавитом». arXiv : 2008.07983 [ cs.IT ].

[25] Цзяо, Цзяньтао; Permuter, Haim H .; Чжао, Лэй; Ким, Ён-Хан; Вайсман, Цачи (октябрь 2013 г.). «Универсальная оценка направленной информации». IEEE Transactions по теории информации . 59 (10): 6220–6242. arXiv : 1201.2334 . DOI : 10.1109 / TIT.2013.2267934 . S2CID 10855063 .

[26] Куинн, Кристофер Дж .; Кияваш, негар; Коулман, Тодд П. (декабрь 2015 г.). «Направленные информационные графы». IEEE Transactions по теории информации . 61 (12): 6887–6909. arXiv : 1204.2003 . DOI : 10.1109 / TIT.2015.2478440 . S2CID 3121664 .

[27] Aharoni, Z .; Цур, Д .; Goldfeld, Z .; Пермутер, ДХ (июнь 2020 г.). «Пропускная способность непрерывных каналов с памятью с помощью нейронного оценщика направленной информации». Международный симпозиум IEEE по теории информации (ISIT) 2020 : 2014–2019. arXiv : 2003.04179 . DOI : 10.1109 / ISIT44484.2020.9174109 .

[1]