Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Не путать с энтропией и жизнью § Отрицательная энтропия .
"Syntropy" перенаправляется сюда. Чтобы узнать о других значениях, см. Syntropy (программное обеспечение) .

В теории информации и статистики , негэнтропия используется как мера расстояния до нормальности. Понятие и фраза « отрицательная энтропия » были введены Эрвином Шредингером в его научно-популярной книге 1944 года « Что такое жизнь?». [1] Позже Леон Бриллюэн сократил фразу до негэнтропии . [2] [3] В 1974 г. Сент-Дьёрди предложил заменить термин негэнтропию с синтропией . Этот термин, возможно, возник в 1940-х годах у итальянского математика Луиджи Фантаппье., который пытался построить единую теорию биологии и физики . Бакминстер Фуллер пытался популяризировать это использование, но негэнтропия остается обычным явлением.

В примечании к « Что такое жизнь?» Шредингер объяснил, как он использовал эту фразу.

... если бы я обслуживал только их [физиков], я бы вместо этого позволил обсуждению включить бесплатную энергию . В данном контексте это более знакомое понятие. Но этот сугубо технический термин с лингвистической точки зрения казался слишком близким к энергии, чтобы заставить обычного читателя почувствовать контраст между двумя вещами.

В 2009 году Махуликар и Хервиг переопределили негэнтропию динамически упорядоченной подсистемы как специфический дефицит энтропии упорядоченной подсистемы по сравнению с окружающим ее хаосом. [4] Таким образом, негэнтропия имеет единицы СИ: (Дж кг -1 К -1 ), когда она определяется на основе удельной энтропии на единицу массы, и (К -1 ), когда определяется на основе удельной энтропии на единицу энергии. Это определение сделало возможным: i ) масштабно-инвариантное термодинамическое представление существования динамического порядка, ii ) формулировку физических принципов исключительно для существования и эволюции динамического порядка и iii ) математическую интерпретацию негэнтропийного долга Шредингера.

Теория информации [ править ]

В теории информации и статистике негэнтропия используется как мера расстояния до нормальности. [5] [6] [7] Из всех распределений с заданными средним значением и дисперсией нормальное или гауссовское распределение имеет наивысшую энтропию. Негэнтропия измеряет разницу в энтропии между данным распределением и распределением Гаусса с тем же средним значением и дисперсией. Таким образом, негэнтропия всегда неотрицательна, инвариантна при любом линейном обратимом изменении координат и исчезает тогда и только тогда, когда сигнал гауссовский.

Негэнтропия определяется как

где - дифференциальная энтропия гауссовой плотности с тем же средним значением и дисперсией, что и, - дифференциальная энтропия :

Негентропия используется в статистике и обработке сигналов . Это связано с сетевой энтропией , которая используется в независимом компонентном анализе . [8] [9]

Негэнтропия распределения равна расхождению Кульбака – Лейблера между и гауссовским распределением с тем же средним и дисперсией, что и (см. Доказательство в разделе Дифференциальная энтропия # Максимизация нормального распределения ). В частности, это всегда неотрицательно.


Корреляция между статистической негэнтропией и свободной энергией Гиббса [ править ]

График доступной энергии ( свободной энергии ) Уилларда Гиббса 1873 года , который показывает плоскость, перпендикулярную оси v ( объема ) и проходящую через точку A, которая представляет начальное состояние тела. MN - сечение поверхности рассеиваемой энергии . Qε и Qη являются сечениями плоскостей η = 0 и ε = 0 и, следовательно, параллельны осям ε ( внутренняя энергия ) и η ( энтропия ) соответственно. AD и AE - это энергия и энтропия тела в его начальном состоянии, AB и AC - его доступная энергия ( энергия Гиббса ) и егоемкость для энтропии (величина, на которую энтропия тела может быть увеличена без изменения энергии тела или увеличения его объема) соответственно.

Существует физическая величина, тесно связанная со свободной энергией ( свободная энтальпия ), с единицей энтропии и изоморфной негэнтропии, известной в статистике и теории информации. В 1873 году Уиллард Гиббс создал диаграмму, иллюстрирующую понятие свободной энергии, соответствующей свободной энтальпии . На диаграмме можно увидеть величину, называемую емкостью по энтропии . Эта величина представляет собой количество энтропии, которое может быть увеличено без изменения внутренней энергии или увеличения ее объема. [10]Другими словами, это разница между максимально возможной при предполагаемых условиях энтропией и ее действительной энтропией. Это в точности соответствует определению негэнтропии, принятому в статистике и теории информации. Подобная физическая величина была введена в 1869 годом Массья для изотермического процесса [11] [12] [13] (обе величины отличается лишь с фигурой знаком) , а затем Планка для изотермического - изобарен процесса. [14] Позднее было показано , что термодинамический потенциал Масье-Планка , известный также как свободная энтропия , играет большую роль в так называемой энтропийной формулировкестатистическая механика , [15] применяется среди других в области молекулярной биологии [16] и термодинамических неравновесных процессов. [17]

куда:
является энтропия
негэнтропия («емкость Гиббса для энтропии»)
является потенциальным Масье
является функция распределения
постоянная Больцмана

В частности, математически негэнтропия (функция отрицательной энтропии, в физике интерпретируется как свободная энтропия) является выпуклой конъюгат из LogSumExp (в физике интерпретируется как свободная энергия).

Принцип негэнтропии информации Бриллюэна [ править ]

В 1953 году Леон Бриллюэн вывел общее уравнение [18], согласно которому изменение значения информационного бита требует как минимум энергии. Это та же энергия, которую производит двигатель Лео Сциларда в идеалистическом случае. В своей книге [19] он дополнительно исследовал эту проблему, заключив, что любая причина этого изменения битового значения (измерение, решение вопроса «да / нет», стирание, отображение и т. Д.) Потребует того же количества энергии.

См. Также [ править ]

  • Эксергия
  • Экстропия
  • Свободная энтропия
  • Энтропия в термодинамике и теории информации

Примечания [ править ]

  1. ^ Шредингер, Эрвин, Что такое жизнь - физический аспект живой клетки , Cambridge University Press, 1944
  2. ^ Бриллюэн, Леон: (1953) "Принцип негэнтропии информации", J. of Applied Physics , v. 24 (9) , pp. 1152–1163
  3. ↑ Леон Бриллюэн, La science et la théorie de l'information , Masson, 1959.
  4. ^ Mahulikar, ИП & Хервиг, Н .: (2009) "Точный термодинамические принципы существования динамического порядка и эволюцию хаоса", хаос, солитоны & Fractals , т. 41 (4) , стр. 1939-1948
  5. ^ Аапо Хювэринен, Исследование по независимому компонентному анализу, node32: Negentropy , Лаборатория компьютерных и информационных наук Хельсинкского технологического университета
  6. ^ Аапо Хювяринен и Эркки Оя, Независимый компонентный анализ: Учебное пособие, node14: Negentropy , Лаборатория компьютерных и информационных наук Хельсинкского технологического университета
  7. ^ Руй Ван, Независимый анализ компонентов, node4: Меры негауссовости
  8. ^ П. Комон, Анализ независимых компонентов - новая концепция ?, Обработка сигналов , 36 287–314, 1994.
  9. ^ Дидье Г. Лейбовичи и Кристиан Бекманн, Введение в многосторонние методы для многопредметного эксперимента фМРТ , Технический отчет FMRIB 2001, Оксфордский центр функциональной магнитно-резонансной томографии мозга (FMRIB), Отдел клинической неврологии, Оксфордский университет, Джон Больница Рэдклифф, Хедли-Уэй, Хедингтон, Оксфорд, Великобритания.
  10. ^ Уиллард Гиббс, Метод геометрического представления термодинамических свойств веществ с помощью поверхностей , Труды Академии Коннектикута , 382–404 (1873)
  11. ^ Масье, MF (1869a). Sur les fonctions caractéristiques des divers fluides. CR Acad. Sci. LXIX: 858–862.
  12. ^ Масье, MF (1869b). Дополнение к воспоминаниям о прецедентах о характерных особенностях. CR Acad. Sci. LXIX: 1057–1061.
  13. ^ Масье, MF (1869), Compt. Ренд. 69 (858): 1057.
  14. ^ Планк, М. (1945). Трактат по термодинамике . Дувр, Нью-Йорк.
  15. ^ Антони Плэйнс, Эдуард Вивес, энтропийная формулировка статистической механики , энтропийные переменные и функции Массьё-Планка 2000-10-24 Universitat de Barcelona
  16. ^ Джон А. Шейлман, Температура, стабильность и гидрофобное взаимодействие , Biophysical Journal 73 (декабрь 1997 г.), 2960–2964, Институт молекулярной биологии, Орегонский университет, Юджин, Орегон 97403, США.
  17. ^ Z. Hens и X. de Hemptinne, Неравновесный термодинамический подход к процессам переноса в газовых смесях , кафедра химии, католический университет Левена, Celestijnenlaan 200 F, B-3001 Heverlee, Бельгия
  18. ^ Леон Бриллюэн, Принцип негэнтропии информации, J. Applied Physics 24 , 1152–1163 1953
  19. ^ Леон Бриллюэн, Наука и теория информации , Дувр, 1956