В теории информации и статистики , негэнтропия используется как мера расстояния до нормальности. Понятие и фраза « отрицательная энтропия » были введены Эрвином Шредингером в его научно-популярной книге 1944 года « Что такое жизнь?». [1] Позже Леон Бриллюэн сократил фразу до негэнтропии . [2] [3] В 1974 г. Сент-Дьёрди предложил заменить термин негэнтропию с синтропией . Этот термин, возможно, возник в 1940-х годах у итальянского математика Луиджи Фантаппье., который пытался построить единую теорию биологии и физики . Бакминстер Фуллер пытался популяризировать это использование, но негэнтропия остается обычным явлением.
В примечании к « Что такое жизнь?» Шредингер объяснил, как он использовал эту фразу.
... если бы я угождал только им [физикам], я бы вместо этого позволил обсуждению включить бесплатную энергию . В данном контексте это более знакомое понятие. Но этот в высшей степени технический термин с лингвистической точки зрения казался слишком близким к энергии, чтобы заставить обычного читателя ощутить контраст между этими двумя вещами.
В 2009 году Махуликар и Хервиг переопределили негэнтропию динамически упорядоченной подсистемы как специфический дефицит энтропии упорядоченной подсистемы по сравнению с окружающим ее хаосом. [4] Таким образом, негэнтропия имеет единицы СИ, равные (Дж⋅кг -1 ⋅K -1 ), когда она определяется на основе удельной энтропии на единицу массы, и (К -1 ), когда определяется на основе удельной энтропии на единицу энергии. Это определение сделало возможным: i ) масштабно-инвариантное термодинамическое представление существования динамического порядка, ii ) формулировку физических принципов исключительно для существования и эволюции динамического порядка и iii ) математическую интерпретацию негэнтропийного долга Шредингера.
Теория информации
В теории информации и статистике негэнтропия используется как мера расстояния до нормального состояния. [5] [6] [7] Из всех распределений с заданными средним значением и дисперсией нормальное или гауссовское распределение имеет наивысшую энтропию. Негэнтропия измеряет разницу в энтропии между данным распределением и распределением Гаусса с тем же средним значением и дисперсией. Таким образом, негэнтропия всегда неотрицательна, инвариантна при любом линейном обратимом изменении координат и исчезает тогда и только тогда, когда сигнал гауссовский.
Негэнтропия определяется как
где - дифференциальная энтропия гауссовой плотности с тем же средним значением и дисперсией, что и а также дифференциальная энтропия :
Негэнтропия используется в статистике и обработке сигналов . Это связано с сетевой энтропией , которая используется в независимом компонентном анализе . [8] [9]
Негэнтропия распределения равна расхождению Кульбака – Лейблера между и гауссовское распределение с тем же средним и дисперсией, что и (см. раздел Дифференциальная энтропия § Максимизация в нормальном распределении для доказательства). В частности, это всегда неотрицательно.
Корреляция между статистической негэнтропией и свободной энергией Гиббса
Существует физическая величина, тесно связанная со свободной энергией ( свободная энтальпия ), с единицей энтропии и изоморфной негэнтропии, известной в статистике и теории информации. В 1873 году Уиллард Гиббс создал диаграмму, иллюстрирующую концепцию свободной энергии, соответствующей свободной энтальпии . На диаграмме можно увидеть величину, называемую емкостью по энтропии . Эта величина представляет собой количество энтропии, которое может быть увеличено без изменения внутренней энергии или увеличения ее объема. [10] Другими словами, это разница между максимально возможной при предполагаемых условиях энтропией и ее действительной энтропией. Это в точности соответствует определению негэнтропии, принятому в статистике и теории информации. Подобная физическая величина была введена в 1869 годом Массья для изотермического процесса [11] [12] [13] (обе величины отличается лишь с фигурой знаком) , а затем Планка для изотермического - изобарен процесса. [14] В последнее время Масия-Планка термодинамический потенциал , известный также как свободная энтропия , как был показан, играет большую роль в так называемой энтропийной формулировке статистической механики , [15] применяется среди других в области молекулярной биологии [16 ] и термодинамические неравновесные процессы. [17]
- где:
- является энтропия
- негэнтропия («емкость Гиббса для энтропии»)
- является потенциальным Масье
- является функция распределения
- постоянная Больцмана
В частности, математически негэнтропия (функция отрицательной энтропии, в физике интерпретируется как свободная энтропия) является выпуклой конъюгат из LogSumExp (в физике интерпретируется как свободная энергия).
Принцип негэнтропии информации Бриллюэна
В 1953 году Леон Бриллюэн вывел общее уравнение [18], согласно которому для изменения значения информационного бита требуется, по крайней мере,энергия. Это та же энергия, которую производит двигатель Лео Сциларда в идеалистическом случае. В своей книге [19] он дополнительно исследовал эту проблему, заключив, что любая причина этого изменения битового значения (измерение, решение вопроса «да / нет», стирание, отображение и т. Д.) Потребует того же количества энергии.
Смотрите также
- Эксергия
- Свободная энтропия
- Энтропия в термодинамике и теории информации
Заметки
- ^ Шредингер, Эрвин, Что такое жизнь - физический аспект живой клетки , Cambridge University Press, 1944
- ^ Бриллюэн, Леон: (1953) «Принцип негэнтропии информации», J. of Applied Physics , v. 24 (9) , pp. 1152–1163
- ↑ Леон Бриллюэн, La science et la théorie de l'information , Masson, 1959.
- ^ Mahulikar, ИП & Хервиг, Н .: (2009) "Точный термодинамические принципы существования динамического порядка и эволюцию хаоса", хаос, солитоны & Fractals , т. 41 (4) , стр. 1939-1948
- ^ Аапо Хювэринен, Обзор по независимому компонентному анализу, node32: Negentropy , Лаборатория компьютерных и информационных наук Хельсинкского технологического университета
- ^ Аапо Хювяринен и Эркки Оя, Независимый компонентный анализ: Учебное пособие, node14: Negentropy , Лаборатория компьютерных и информационных наук Хельсинкского технологического университета
- ^ Руй Ван, Независимый анализ компонентов, node4: Меры негауссовости
- ^ П. Комон, Независимый компонентный анализ - новая концепция ?, Обработка сигналов , 36 287–314, 1994.
- ^ Дидье Г. Лейбовичи и Кристиан Бекманн, Введение в многосторонние методы для многопредметного эксперимента фМРТ , Технический отчет FMRIB 2001, Оксфордский центр функциональной магнитно-резонансной томографии головного мозга (FMRIB), Отдел клинической неврологии, Оксфордский университет, Джон Больница Рэдклифф, Хедли-Уэй, Хедингтон, Оксфорд, Великобритания.
- ^ Уиллард Гиббс, Метод геометрического представления термодинамических свойств веществ с помощью поверхностей , Труды Академии Коннектикута , 382–404 (1873)
- ^ Масье, MF (1869a). Sur les fonctions caractéristiques des divers fluides. CR Acad. Sci. LXIX: 858–862.
- ^ Масье, MF (1869b). Дополнение к воспоминаниям о прецедентах о характерных чертах. CR Acad. Sci. LXIX: 1057–1061.
- ^ Масье, MF (1869), Compt. Ренд. 69 (858): 1057.
- ^ Планк, М. (1945). Трактат по термодинамике . Дувр, Нью-Йорк.
- ^ Антони Плэйнс, Эдуард Вивес, Энтропийная формулировка статистической механики , энтропийные переменные и функции Масье-Планка 2000-10-24 Universitat de Barcelona
- ^ Джон А. Шейлман, Температура, стабильность и гидрофобное взаимодействие , Biophysical Journal 73 (декабрь 1997 г.), 2960–2964, Институт молекулярной биологии, Орегонский университет, Юджин, Орегон 97403, США.
- ^ Z. Hens и X. de Hemptinne, Неравновесный термодинамический подход к процессам переноса в газовых смесях , кафедра химии, католический университет Левена, Celestijnenlaan 200 F, B-3001 Heverlee, Бельгия
- ^ Леон Бриллюэн, Принцип негэнтропии информации, J. Applied Physics 24 , 1152–1163 1953
- ^ Леон Бриллюэн, Наука и теория информации , Дувр, 1956