В статистике доказательная нижняя граница ( ELBO , также вариационная нижняя граница или отрицательная вариационная свободная энергия ) - это величина, которая часто оптимизируется с помощью вариационных байесовских методов . Эти методы обрабатывают случаи, когда дистрибутив по ненаблюдаемым переменным оптимизирован как приближение к истинному апостериорному , учитывая данные наблюдений . Тогда нижняя граница доказательств определяется как: [1]
где является кросс-энтропии . Максимизация нижней границы доказательств сводит к минимуму, расхождение Кульбака – Лейблера , мера несходстваот истинного заднего. Основная причина, по которой эта величина является предпочтительной для оптимизации, заключается в том, что ее можно вычислить без доступа к апостериорной оценке, при условии хорошего выбора.
Чтобы другие меры несходства были оптимизированы для соответствия см. Дивергенция (статистика) . [2]
Нижняя граница свидетельства имени обоснована путем анализа декомпозиции KL-дивергенции между истинным апостериорным и : [3]
В виде это уравнение показывает, что нижняя граница свидетельства действительно является нижней границей логарифмического свидетельства. для рассматриваемой модели. В виде не зависит от это уравнение дополнительно показывает, что максимизация доказательной нижней границы справа минимизирует , как заявлено выше.