В теории информации растерянность — это мера того, насколько хорошо распределение вероятностей или модель вероятности предсказывает выборку. Его можно использовать для сравнения вероятностных моделей. Низкий уровень недоумения указывает на то, что распределение вероятностей хорошо предсказывает выборку.
где H ( p ) — энтропия (в битах) распределения, а x — диапазоны событий. (Основание не обязательно должно быть равно 2: недоумение не зависит от основания, при условии, что энтропия и возведение в степень используют одно и то же основание.) Эта мера также известна в некоторых областях как разнообразие (истинного порядка 1) .
Запутанность случайной величины X может быть определена как запутанность распределения ее возможных значений x .
В частном случае, когда p моделирует справедливую k - гранную игральную кость (равномерное распределение по k дискретным событиям), ее сложность равна k . Случайная величина с недоумением k имеет ту же неопределенность, что и правильный k -гранный кубик, и говорят, что человек « запутался k -путями» в отношении значения случайной величины. (Если это не справедливая k - гранная кость, возможно будет более k значений, но общая неопределенность не будет больше, поскольку некоторые из этих значений будут иметь вероятность больше 1/ k , уменьшая общее значение при суммировании.)
Недоумение иногда используется как мера сложности задачи прогнозирования. Это не всегда точно. Если у вас есть два варианта, один с вероятностью 0,9, то ваши шансы на правильное предположение составляют 90 процентов при использовании оптимальной стратегии. Недоумение равно 2 -0,9 log 2 0,9 - 0,1 log 2 0,1 = 1,38. Обратное значение недоумения (которое в случае правильного k-гранного кубика представляет вероятность правильного угадывания) равно 1/1,38 = 0,72, а не 0,9.
Недоумение есть возведение в степень энтропии, которая является более четкой величиной. Энтропия — это мера ожидаемого или «среднего» количества битов, необходимых для кодирования результата случайной величины с использованием теоретического оптимального кода переменной длины . исход случайной величины.