Поля играют важную роль в науке, технологиях и экономике. Они описывают пространственные изменения некоторой величины, например температуры воздуха, в зависимости от положения. Знание конфигурации поля может иметь большое значение. Однако измерения полей никогда не могут с уверенностью обеспечить точную конфигурацию поля. Физические поля имеют бесконечное количество степеней свободы, но данные, генерируемые любым измерительным устройством, всегда конечны, обеспечивая только конечное количество ограничений на поле. Таким образом, однозначный вывод такого поля из одних только данных измерений невозможен, и остается только вероятностный вывод в качестве средства для утверждений о поле. К счастью, физические поля обнаруживают корреляции и часто подчиняются известным физическим законам. Такую информацию лучше всего объединить с выводом поля, чтобы преодолеть несоответствие степеней свободы поля точкам измерения. Чтобы справиться с этим, необходима теория информации для полей, а это и есть теория информационного поля.
Концепции
Байесовский вывод
это значение поля в местоположении в космосе . Предварительные знания о неизвестном сигнальном поле закодирован в распределении вероятностей . Данные предоставляет дополнительную информацию о через вероятность который включается в апостериорную вероятность
Поскольку поля имеют бесконечное число степеней свободы, определение вероятностей над пространствами конфигураций полей имеет тонкости. Идентификация физических полей как элементов функциональных пространств создает проблему, заключающуюся в том, что над ними не определена мера Лебега, и поэтому плотности вероятностей не могут быть определены там. Однако физические поля имеют гораздо большую регулярность, чем большинство элементов функциональных пространств, поскольку они непрерывны и гладкие в большинстве своих мест. Поэтому менее общие, но достаточно гибкие конструкции могут использоваться для обработки бесконечного числа степеней свободы поля.
Прагматический подход состоит в том, чтобы рассматривать поле как дискретизируемое в пикселях. Каждый пиксель несет одно значение поля, которое предполагается постоянным в пределах объема пикселя. Затем все утверждения о непрерывном поле должны быть преобразованы в его пиксельное представление. Таким образом, мы имеем дело с конечномерными полевыми пространствами, в которых плотности вероятностей хорошо определены.
Чтобы это описание было правильной теорией поля, дополнительно требуется, чтобы разрешение в пикселях всегда можно уточнить, а математические ожидания дискретизированного поля сходятся к конечным значениям:
Интегралы по путям
Если этот предел существует, можно говорить об интеграле по пространству конфигурации поля или интеграле по путям
независимо от разрешения его можно оценить численно.
Определитель в знаменателе может быть неверно определен в континуальном пределе. , однако, все, что необходимо для согласованности IFT, - это то, что этот определитель может быть оценен для любого представления поля конечного разрешения с помощью и что это позволяет вычислять сходящиеся ожидаемые значения.
Гауссовское распределение вероятностей требует задания двухточечной корреляционной функции поля с коэффициентами
и скалярное произведение для непрерывных полей
относительно которой обратная ковариация поля сигнала построен, т.е.
Соответствующий гамильтониан априорной информации имеет вид
Уравнение измерения
Данные измерений был сгенерирован с вероятностью . Если прибор был линейным, уравнение измерения вида
может быть дано, в котором отклик прибора, который описывает, как данные в среднем реагируют на сигнал, и это шум, просто разница между данными и линейный отклик сигнала . Важно отметить, что ответ переводит бесконечномерный вектор сигнала в конечномерное пространство данных. В компонентах это читается как
где также были введены обозначения компонентов вектора для векторов сигналов и данных.
Если шум следует за независимым от сигнала гауссовой статистикой с нулевым средним и ковариацией , тогда вероятность тоже гауссова,
а гамильтониан информации правдоподобия равен
Линейное измерение гауссова сигнала с учетом гауссова и независимого от сигнала шума приводит к свободному IFT.
Бесплатная теория
Свободный гамильтониан
Совместный информационный гамильтониан гауссовского сценария, описанный выше, имеет вид
где обозначает равенство с точностью до нерелевантных констант, что в данном случае означает выражения, не зависящие от . Из этого ясно, что апостериорная функция должна быть гауссовой со средним значением. и дисперсия ,
где равенство между правой и левой частями выполняется, поскольку оба распределения нормированы, .
Обобщенный фильтр Винера
Апостериорное среднее
также известен как решение обобщенного фильтра Винера и ковариация неопределенности
как дисперсия Винера.
В IFT называется источником информации, так как он действует как источник, возбуждающий поле (знания), и распространитель информации, поскольку он распространяет информацию из одного места в другое в
Теория взаимодействия
Взаимодействующий гамильтониан
Если какое-либо из предположений, которые приводят к свободной теории, нарушается, IFT становится теорией взаимодействия с членами, которые имеют порядок выше квадратичного в поле сигнала. Это происходит, когда сигнал или шум не соответствуют гауссовой статистике, когда отклик нелинейный, когда шум зависит от сигнала или когда отклик или ковариации неопределенны.
В этом случае информационный гамильтониан может быть расширен в ряд Тейлора - Фреше ,
где - свободный гамильтониан, который сам по себе привел бы к гауссовской апостериорной теории, и - взаимодействующий гамильтониан, кодирующий негауссовские поправки. Коэффициенты Тейлора первого и второго порядка часто отождествляются с (отрицательным) источником информации. и распространитель информации , соответственно. Более высокие коэффициенты связаны с нелинейными самовзаимодействиями.
Классическое поле
Классическое поле минимизирует информационный гамильтониан,
Задача фильтра Винера требует двухточечной корреляции поля, чтобы быть известным. Если он неизвестен, он должен быть выведен вместе с самим полем. Это требует указания гиперприора. Часто можно предположить статистическую однородность (трансляционную инвариантность), подразумевая, чтодиагональна в пространстве Фурье (при быть мерное декартово пространство ). В этом случае только спектр мощности пространства Фурьенеобходимо сделать вывод. Учитывая дальнейшее предположение о статистической изотропии, этот спектр зависит только от длины вектора Фурье и только одномерный спектр должен быть определен. Тогда предыдущая ковариация поля читается в координатах пространства Фурье.
Если до плоская, совместная вероятность данных и спектра равна
где обозначение пропагатора информации и источник снова была использована проблема фильтра Винера. Соответствующий информационный гамильтониан имеет вид
где обозначает равенство с точностью до нерелевантных констант (здесь: константа относительно ). Минимизируя это относительно , чтобы получить максимальную апостериорную оценку спектра мощности, дает
где фильтр Винера означает и проектор спектрального диапазона были представлены. Последний ездит с , поскольку диагональна в пространстве Фурье. Таким образом, максимальная апостериорная оценка для спектра мощности равна
Его нужно рассчитывать итеративно, так как а также зависеть как от сами себя. В эмпирическом байесовском подходе оценочные будет принято как данность. Как следствие, апостериорная средняя оценка поля сигнала является соответствующей и его неопределенность соответствующая в эмпирическом байесовском приближении.
Результирующий нелинейный фильтр называется критическим фильтром . [4] Обобщение формулы оценки спектра мощности как
демонстрирует порог восприятия для , что означает, что дисперсия данных в полосе Фурье должна превышать ожидаемый уровень шума на определенный порог перед восстановлением сигнала. становится ненулевым для этой полосы. Когда дисперсия данных немного превышает этот порог, реконструкция сигнала перескакивает на конечный уровень возбуждения, аналогично фазовому переходу первого рода в термодинамических системах. Для фильтра с восприятие сигнала начинается непрерывно, как только дисперсия данных превышает уровень шума. Исчезновение прерывистого восприятия при похожа на термодинамическую систему, проходящую через критическую точку . Отсюда и название «критический фильтр».
Критический фильтр, его расширения до нелинейных измерений и включение априорных значений неплоского спектра позволили применить IFT к реальным задачам вывода сигналов, для которых ковариация сигнала обычно неизвестна априори.
Примеры применения IFT
Радиоинтерферометрическое изображение радиогалактик в скоплении галактик Abell 2219. Изображения были построены с помощью обратной проекции данных (вверху), алгоритма CLEAN (в центре) и алгоритма RESOLVE (внизу). Отрицательные и, следовательно, нефизические потоки отображаются белым цветом.
Обобщенный фильтр Винера, который появляется в бесплатном IFT, широко используется в обработке сигналов. Алгоритмы, явно основанные на IFT, были получены для ряда приложений. Многие из них реализованы с использованием библиотеки Numerical Information Field Theory (NIFTy).
D³PO - это код для снятия шумов, деконволюции и разложения фотонных наблюдений . Он восстанавливает изображения из отдельных событий счета фотонов, принимая во внимание статистику счета Пуассона и функцию отклика прибора. Он разделяет излучение неба на изображение диффузного излучения и одного из точечных источников, используя различную структуру корреляции и статистику двух компонентов для их разделения. D³PO был применен к данным спутников Fermi и RXTE .
RESOLVE - это байесовский алгоритм построения изображений с синтезом апертуры в радиоастрономии. RESOLVE аналогичен D³PO, но предполагает гауссовское правдоподобие и функцию отклика в пространстве Фурье. Он был применен к данным очень большого массива .
PySESA - это среда Python для пространственно-явного спектрального анализа для пространственно-явного спектрального анализа облаков точек и геопространственных данных.
Продвинутая теория
Многие методы из квантовой теории поля могут использоваться для решения проблем IFT, например диаграммы Фейнмана, эффективные действия и формализм полевого оператора.
Диаграммы Фейнмана
Первые три диаграммы Фейнмана, участвующие в апостериорной средней оценке поля. Линия обозначает распространитель информации, точка в конце строки - источник информации, а вершина - член взаимодействия. Первая диаграмма кодирует фильтр Винера, вторая - нелинейную поправку, а третья - поправку неопределенности для фильтра Винера.
В случае, если коэффициенты взаимодействия в разложении Тейлора - Фреше информационного гамильтониана
малы, логарифм статистической суммы или свободная энергия Гельмгольца ,
можно асимптотически разложить по этим коэффициентам. Свободный гамильтониан определяет среднее и дисперсия распределения Гаусса над которым интегрировано расширение. Это приводит к сумме по множеству всех связных диаграмм Фейнмана . По свободной энергии Гельмгольца любой связанный момент поля может быть вычислен с помощью
Ситуации, в которых существуют небольшие параметры расширения, необходимые для сходимости такого схематического расширения, задаются полями сигнала, близкими к гауссовскому, где негауссовость статистики поля приводит к малым коэффициентам взаимодействия . Например, статистика космического микроволнового фона почти гауссова, с небольшими количествами негауссовости, которые, как полагают, были засеяны во время инфляционной эпохи в Ранней Вселенной .
Эффективное действие
Чтобы иметь стабильные числовые значения для задач IFT, необходим функционал поля, который в случае минимизации обеспечивает поле апостериорного среднего. Это дается эффективным действием или свободной энергией Гиббса поля. Свободная энергия Гиббсаможно построить из свободной энергии Гельмгольца с помощью преобразования Лежандра . В IFT это разница внутренней информационной энергии
и энтропия Шеннона
для температуры , где апостериорное приближение Гаусса используется с приблизительными данными содержащий среднее значение и дисперсию поля. [5]
Тогда свободная энергия Гиббса равна
дивергенции Кульбака-Либлермежду аппроксимационной и точной апостериорной плюс свободная энергия Гельмгольца. Поскольку последнее не зависит от приблизительных данных , минимизация свободной энергии Гиббса эквивалентна минимизации расхождения Кульбака-Лейблера между приближенным и точным апостериорным. Таким образом, подход эффективного действия IFT эквивалентен вариационным байесовским методам , которые также минимизируют расхождение Кульбака-Лейблера между приближенными и точными апостериорными методами .
Минимизация свободной энергии Гиббса приблизительно дает апостериорное среднее поле
тогда как минимизация информации гамильтониан обеспечивает максимальное апостериорное поле. Поскольку последний, как известно, приводит к чрезмерному подгонке шума, первый обычно является лучшим средством оценки поля.
Операторный формализм
Вычисление свободной энергии Гиббса требует вычисления гауссовых интегралов по информационному гамильтониану, поскольку внутренняя информационная энергия равна
Такие интегралы могут быть вычислены с помощью формализма полевого оператора [6], в котором
- оператор поля. Это генерирует выражение поля внутри интеграла, если применить его к функции распределения Гаусса,
и любая более высокая мощность поля, если применяется несколько раз,
Если информационный гамильтониан является аналитическим, все его члены могут быть сгенерированы через полевой оператор
Поскольку оператор поля не зависит от поля сам по себе, его можно вытащить из интеграла по траекториям конструкции внутренней энергии информации,
где следует рассматривать как функционал, который всегда возвращает значение независимо от стоимости его ввода . Полученное выражение можно вычислить, коммутируя аннигилятор среднего поля справа от выражения, где они исчезают, так как . Аннигилятор среднего поля коммутирует со средним полем как
Используя формализм оператора поля, можно вычислить свободную энергию Гиббса, что позволяет сделать (приближенный) вывод апостериорного среднего поля посредством численной робастной минимизации функционала.
История
Книгу Норберта Винера [7] можно считать одной из первых работ по полевому выводу. Использование интегралов по путям для вывода полей было предложено рядом авторов, например Эдмундом Бертшингером [8] или Уильямом Биалеком и А. Зи. [9] Связь теории поля и байесовских рассуждений была явно обозначена Йоргом Леммом. [10] Термин « теория информационного поля» был введен Торстеном Энслином. [11] См. Последнюю ссылку для получения дополнительной информации об истории IFT.
Смотрите также
Байесовский вывод
Байесовское иерархическое моделирование
Гауссовский процесс
Статистические выводы
Рекомендации
^ Энсслин Торстен (2013). «Теория информационного поля». Материалы конференции AIP . 1553 (1): 184–191. arXiv : 1301.2556 . Bibcode : 2013AIPC.1553..184E . DOI : 10.1063 / 1.4819999 .
^Энслин, Торстен А. (2019). «Теория информации для полей». Annalen der Physik . 531 (3): 1800127. arXiv : 1804.03350 . Bibcode : 2019AnP ... 53100127E . DOI : 10.1002 / andp.201800127 .
^Enßlin, Torsten A .; Фроммерт, Мона (19 мая 2011 г.). «Реконструкция сигналов с неизвестными спектрами в теории информационного поля с неопределенностью параметров». Physical Review D . 83 (10): 105014. arXiv : 1002.2928 . Bibcode : 2011PhRvD..83j5014E . DOI : 10.1103 / PhysRevD.83.105014 .
^Энслин, Торстен А. (2010). «Вывод с минимальной свободной энергией Гиббса в теории информационного поля». Physical Review E . 82 (5): 051112. arXiv : 1004.2868 . Bibcode : 2010PhRvE..82e1112E . DOI : 10.1103 / physreve.82.051112 . PMID 21230442 .
^Leike, Reimar H .; Энслин, Торстен А. (16 ноября 2016 г.). «Операторное исчисление в теории информационного поля». Physical Review E . 94 (5): 053306. arXiv : 1605.00660 . Bibcode : 2016PhRvE..94e3306L . DOI : 10.1103 / PhysRevE.94.053306 . PMID 27967173 .
^(1894-1964), Винер, Норберт (1964). Экстраполяция, интерполяция и сглаживание стационарных временных рядов с инженерными приложениями (Пятое издание). Кембридж, Массачусетс: Technology Press Массачусетского технологического института. ISBN 0262730057. OCLC 489911338 .CS1 maint: числовые имена: список авторов ( ссылка )
^Берчингер, Эдмунд (декабрь 1987 г.). «Методы интегралов по траекториям для первичных возмущений плотности - Выборка ограниченных гауссовских случайных полей». Астрофизический журнал . 323 : L103 – L106. Bibcode : 1987ApJ ... 323L.103B . DOI : 10.1086 / 185066 . ISSN 0004-637X .
^Биалек, Уильям; Зи, А. (1988-09-26). «Понимание эффективности человеческого восприятия». Письма с физическим обзором . 61 (13): 1512–1515. Bibcode : 1988PhRvL..61.1512B . DOI : 10.1103 / PhysRevLett.61.1512 . PMID 10038817 .
^К., Лемм, Йорг (2003). Байесовская теория поля . Балтимор, Мэриленд: Издательство Университета Джона Хопкинса. ISBN 9780801872204. OCLC 52762436 .
^Enßlin, Torsten A .; Фроммерт, Мона; Китаура, Франсиско С. (2009-11-09). «Теория информационного поля для восстановления космологических возмущений и нелинейного анализа сигналов». Physical Review D . 80 (10): 105005. arXiv : 0806.3474 . Bibcode : 2009PhRvD..80j5005E . DOI : 10.1103 / PhysRevD.80.105005 .