Принцип максимальной энтропии утверждает, что распределение вероятности, которое лучше всего представляет текущее состояние знаний о системе, имеет наибольшую энтропию в контексте точно установленных априорных данных (например, предложение , выражающее проверяемую информацию ).
Другой способ сформулировать это: взять точно установленные априорные данные или проверяемую информацию о функции распределения вероятностей. Рассмотрим набор всех распределений вероятностей испытаний, которые будут кодировать априорные данные. Согласно этому принципу наилучшим выбором является распределение с максимальной информационной энтропией .
Поскольку распределение с максимальной энтропией — это то, что делает наименьшее количество предположений об истинном распределении данных, принцип максимальной энтропии можно рассматривать как применение бритвы Оккама .
Этот принцип был впервые изложен Э. Т. Джейнсом в двух статьях в 1957 году [1] [2] , где он подчеркнул естественное соответствие между статистической механикой и теорией информации . В частности, Джейнс предложил новое и очень общее обоснование того, почему метод Гиббса в статистической механике работает. Он утверждал, что энтропия статистической механики и информационная энтропия теории информации в основном одно и то же. Следовательно, статистическую механику следует рассматривать лишь как частное применение общего инструмента логического вывода и теории информации.
В большинстве практических случаев заявленные априорные данные или проверяемая информация задаются набором сохраняющихся величин (средние значения некоторых моментных функций), связанных с рассматриваемым распределением вероятностей . Именно так принцип максимума энтропии чаще всего используется в статистической термодинамике . Другая возможность состоит в том, чтобы предписать некоторые симметрии распределения вероятностей. Эквивалентность между сохраняющимися величинами и соответствующими группами симметрии подразумевает аналогичную эквивалентность для этих двух способов задания проверяемой информации в методе максимальной энтропии.
Принцип максимальной энтропии также необходим для обеспечения однозначности и непротиворечивости вероятностных назначений, полученных различными методами, в частности статистической механикой и логическим выводом .