 | Эта статья требует дополнительных ссылок для проверки . ( сентябрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) |
В теории вероятностей и статистике , параметр концентрации является особым видом числового параметра в виде параметрического семейства из вероятностных распределений . Параметры концентрации происходят в двух видах распределения: В распределении Мизеса-Фишер , и в сочетании с распределениями , чьи домен является распределением вероятностей, такими как симметричное распределение Дирихле и процесс Дирихля . Остальная часть этой статьи посвящена последнему использованию.
Чем больше значение параметра концентрации, тем более равномерно распределено результирующее распределение (тем больше оно стремится к равномерному распределению ). Чем меньше значение параметра концентрации, тем более разреженно распределено результирующее распределение, при этом большинство значений или диапазонов значений имеют вероятность близкую к нулю (другими словами, чем больше оно стремится к распределению, сосредоточенному в одной точке, тем вырожденным распределение, определяемое дельта-функцией Дирака ).
Распределение Дирихле [ править ]
В случае многомерных распределений Дирихле возникает некоторая путаница в том, как определять параметр концентрации. В литературе по тематическому моделированию его часто определяют как сумму отдельных параметров Дирихле [1], при обсуждении симметричных распределений Дирихле (где параметры одинаковы для всех измерений) часто определяют как значение одного параметра Дирихле. параметр, используемый во всех измерениях [ необходима ссылка ] . Это второе определение меньше в разы размерности распределения.
Параметр концентрации 1 (или k , размерность распределения Дирихле, по определению, используемому в литературе по тематическому моделированию) приводит к тому, что все наборы вероятностей равновероятны, то есть в этом случае распределение Дирихле размерности k эквивалентно равномерное распределение по k-1 -мерному симплексу . Обратите внимание, что это нето же самое, что происходит, когда параметр концентрации стремится к бесконечности. В первом случае все результирующие распределения равновероятны (распределение по распределениям равномерное). В последнем случае вероятны только почти однородные распределения (распределение по распределениям имеет высокий пик около равномерного распределения). Между тем, в пределе, когда параметр концентрации стремится к нулю, вероятны только распределения, в которых почти вся масса сосредоточена на одном из их компонентов (распределение по распределениям имеет высокий пик около k возможных дельта-распределений Дирака с центром на одном из компонентов, или в терминах k -мерного симплекса, имеет высокие пики в углах симплекса).
Редкие приоры [ править ]
Пример того, когда требуется редкий априор (параметр концентрации намного меньше 1), рассмотрим модель темы , которая используется для изучения тем, которые обсуждаются в наборе документов, где каждая «тема» описывается с использованием категориального распределение по словарю слов. Типичный словарь может содержать 100 000 слов, что приводит к 100 000-мерному категориальному распределению. Априорное распределение для параметров категориального распределения, вероятно , будет симметричным распределением Дирихля. Однако связная тема может содержать всего несколько сотен слов с любой значительной вероятностной массой. Соответственно, разумной настройкой для параметра концентрации может быть 0,01 или 0,001. При большем словарном запасе, составляющем около 1 000 000 слов, может оказаться подходящим даже меньшее значение, например 0,0001.
См. Также [ править ]
- Распределение Дирихле
- Процесс Дирихле
- Процесс Питмана – Йорка
- Параметр местоположения
- Масштабный параметр
Ссылки [ править ]
- ^ Валлах, Ханна М .; Иэн Мюррей; Руслан Салахутдинов; Дэвид Мимно (2009). «Методы оценки тематических моделей». Материалы 26-й ежегодной международной конференции по машинному обучению . ICML '09. Нью-Йорк, Нью-Йорк, США: ACM. С. 1105–1112. DOI : 10.1145 / 1553374.1553515 . ISBN 978-1-60558-516-1.
