Приближенное байесовское вычисление

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

Приближенное байесовское вычисление ( ABC ) представляет собой класс вычислительных методов, основанных на байесовской статистике, которые можно использовать для оценки апостериорных распределений параметров модели.

Во всех модели на основе статистических выводов , то функция правдоподобия имеет решающее значение, так как оно выражает вероятность наблюдаемых данных по конкретной статистической модели , и , таким образом , квантифицирует поддержку данных кредитовать конкретные значения параметров и выбор среди различных моделей. Для простых моделей обычно можно получить аналитическую формулу для функции правдоподобия. Однако для более сложных моделей аналитическая формула может быть неуловимой, или вычисление функции правдоподобия может оказаться очень затратным с вычислительной точки зрения.

Методы ABC обходят оценку функции правдоподобия. Таким образом, методы ABC расширяют сферу моделей, для которых можно рассматривать статистический вывод. Методы ABC математически хорошо обоснованы, но они неизбежно делают предположения и приближения, влияние которых требует тщательной оценки. Кроме того, более широкая область применения ABC усугубляет проблемы оценки параметров и выбора модели .

ABC быстро завоевала популярность в последние годы, особенно для анализа сложных проблем, возникающих в биологических науках , например, в популяционной генетике , экологии , эпидемиологии и системной биологии .

История [ править ]

Первые идеи, связанные с азбукой, относятся к 1980-м годам. Дональд Рубин , обсуждая интерпретацию байесовских утверждений в 1984 г. ^[1], описал гипотетический механизм выборки, который дает выборку из апостериорного распределения . Эта схема была скорее концептуальным мысленным экспериментом, чтобы продемонстрировать, какие типы манипуляций выполняются при выводе апостериорного распределения параметров. Описание механизма выборки в точности совпадает с описанием схемы ABC-отклонения , и эту статью можно считать первой, описывающей приближенные байесовские вычисления. Однако двухступенчатый квинконс был построен Фрэнсисом Гальтоном.в конце 1800-х годов это можно рассматривать как физическую реализацию схемы отклонения ABC для одного неизвестного (параметра) и одного наблюдения. ^[2] Еще одно прозорливое замечание было сделано Рубином, когда он утверждал, что в байесовском выводе прикладные статистики не должны довольствоваться только аналитически управляемыми моделями, но вместо этого должны рассматривать вычислительные методы, которые позволяют им оценить интересующее апостериорное распределение. Таким образом, можно рассмотреть более широкий спектр моделей. Эти аргументы особенно актуальны в контексте ABC.

В 1984 году Питер Диггл и Ричард Граттон ^[3] предложили использовать схему систематического моделирования для аппроксимации функции правдоподобия в ситуациях, когда ее аналитическая форма неразрешима . Их метод был основан на определении сетки в пространстве параметров и использовании ее для аппроксимации правдоподобия путем запуска нескольких симуляций для каждой точки сетки. Затем приближение было улучшено путем применения методов сглаживания к результатам моделирования. Хотя идея использования моделирования для проверки гипотез не была новой, ^{[4] [5]} Диггл и Граттон, по-видимому, представили первую процедуру, использующую моделирование, чтобы сделать статистический вывод в обстоятельствах, когда вероятность необратима.

Хотя подход Диггла и Граттона открыл новые горизонты, их метод еще не был полностью идентичен тому, что сейчас известно как ABC, поскольку он был направлен на аппроксимацию вероятности, а не апостериорного распределения. Статья Саймона Таваре и др. ^[6] был первым, кто предложил алгоритм ABC для апостериорного вывода. В их основополагающей работе был рассмотрен вывод о генеалогии данных последовательности ДНК, и, в частности, проблема определения апостериорного распределения времени до самого недавнего общего предка.отобранных лиц. Такой вывод аналитически не поддается анализу для многих демографических моделей, но авторы представили способы моделирования сливающихся деревьев в рамках предполагаемых моделей. Выборка из апостериорных параметров модели была получена путем принятия / отклонения предложений на основе сравнения количества сегрегационных участков в синтетических и реальных данных. За этой работой последовало прикладное исследование по моделированию вариаций Y-хромосомы человека, проведенное Джонатаном К. Притчардом и соавт. ^[7] методом ABC. Наконец, термин приближенное байесовское вычисление был введен Марком Бомонтом и др. , ^[8]дальнейшее расширение методологии ABC и обсуждение пригодности подхода ABC более конкретно для проблем популяционной генетики. С тех пор ABC распространилась на приложения вне популяционной генетики, такие как системная биология, эпидемиология и филогеография .

Метод [ править ]

Мотивация [ править ]

Общее воплощение Байеса теорема относится к условной вероятности (или плотность) конкретное значение параметра приведенных данных к вероятности из дали по правилу${\ displaystyle \ theta}$${\ displaystyle D}$${\ displaystyle D}$${\ displaystyle \ theta}$

${\ Displaystyle p (\ theta | D) = {\ frac {p (D | \ theta) p (\ theta)} {p (D)}}}$,

где обозначает апостериорную, вероятность, априорную и доказательную (также называемую предельной вероятностью или априорной вероятностью прогноза данных). Обратите внимание, что знаменатель нормализует полную вероятность апостериорной плотности к единице и может быть вычислен таким образом.${\ Displaystyle р (\ тета | D)}$${\ Displaystyle p (D | \ theta)}$${\ Displaystyle р (\ тета)}$${\ Displaystyle p (D)}$${\ Displaystyle p (D)}$${\ Displaystyle р (\ тета | D)}$

Предыдущее представляет собой убеждения или знания (например, физические ограничения) о том, что было доступно раньше . Поскольку априорные оценки сужают неопределенность, апостериорные оценки имеют меньшую дисперсию, но могут быть смещены. Для удобства априорность часто задается путем выбора конкретного распределения среди множества хорошо известных и поддающихся обработке семейств распределений, так что как оценка априорных вероятностей, так и случайное генерирование значений являются относительно простыми. Для некоторых типов моделей более прагматично задавать предварительное использование факторизации совместного распределения всех элементов в терминах последовательности их условных распределений. Если вас интересуют только относительные апостериорные вероятности различных значений${\ displaystyle \ theta}$${\ displaystyle D}$${\ displaystyle \ theta}$${\ Displaystyle р (\ тета)}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$, свидетельство можно игнорировать, так как оно представляет собой нормирующую константу , которая отменяет любое отношение апостериорных вероятностей. Однако по-прежнему необходимо оценить вероятность и априорность . Для многих приложений оценка вероятности является дорогостоящей или даже совершенно невыполнимой, ^[9] что мотивирует использование ABC для обхода этой проблемы.${\ Displaystyle p (D)}$${\ Displaystyle p (D | \ theta)}$${\ Displaystyle р (\ тета)}$

Алгоритм отклонения ABC [ править ]

Все методы на основе ABC аппроксимируют функцию правдоподобия с помощью моделирования, результаты которого сравниваются с наблюдаемыми данными. ^{[10] [11] [12]} Более конкретно, с помощью алгоритма отклонения ABC - наиболее простой формы ABC - набор точек параметров сначала выбирается из предыдущего распределения. Для выбранной точки параметра набор данных моделируется в соответствии со статистической моделью, указанной в . Если сгенерированные данные слишком отличаются от наблюдаемых , значение параметра выборки отбрасывается. Точнее говоря, допускается с допуском, если:${\ displaystyle {\ hat {\ theta}}}$${\ displaystyle {\ hat {D}}}$${\ displaystyle M}$${\ displaystyle {\ hat {\ theta}}}$${\ displaystyle {\ hat {D}}}$${\ displaystyle D}$${\ displaystyle {\ hat {D}}}$${\ displaystyle \ epsilon \ geq 0}$

${\ Displaystyle \ rho ({\ шляпа {D}}, D) \ leq \ epsilon}$,

где мера расстояния определяет уровень расхождения между и на основе данной метрики (например, евклидова расстояния ). Обычно необходим строго положительный допуск, поскольку вероятность того, что результат моделирования точно совпадает с данными (событием ), пренебрежимо мала для всех, кроме тривиальных приложений ABC, что на практике привело бы к отклонению почти всех точек выборки параметров. Результатом алгоритма отклонения ABC является выборка значений параметров, приблизительно распределенных в соответствии с желаемым апостериорным распределением и, что особенно важно, полученных без необходимости явно оценивать функцию правдоподобия.${\ Displaystyle \ rho ({\ шляпа {D}}, D)}$${\ displaystyle {\ hat {D}}}$${\ displaystyle D}$${\ displaystyle {\ hat {D}} = D}$

Сводная статистика [ править ]

Вероятность создания набора данных с малым расстоянием до обычно уменьшается по мере увеличения размерности данных. Это приводит к значительному снижению вычислительной эффективности вышеупомянутого базового алгоритма отклонения ABC. Распространенным подходом к уменьшению этой проблемы является замена набора сводных статистических данных более низкого измерения , которые выбираются для сбора соответствующей информации . Критерий приемлемости в алгоритме отклонения ABC становится:${\ displaystyle {\ hat {D}}}$${\ displaystyle D}$${\ displaystyle D}$ ${\ Displaystyle S (D)}$${\ displaystyle D}$

${\displaystyle \rho (S({\hat {D}}),S(D))\leq \epsilon }$.

Если сводная статистика достаточна по параметрам модели , полученное таким образом повышение эффективности не вносит никакой ошибки. ^[13] Действительно, по определению, достаточность означает, что вся информация в about фиксируется .${\displaystyle \theta }$${\displaystyle D}$${\displaystyle \theta }$${\displaystyle S(D)}$

Как поясняется ниже , за пределами экспоненциального семейства распределений , как правило, невозможно идентифицировать конечномерный набор достаточной статистики. Тем не менее, информативная, но, возможно, недостаточная сводная статистика часто используется в приложениях, где логический вывод выполняется с помощью методов ABC.

Пример [ править ]

Наглядным примером является бистабильная система, которая может быть охарактеризована скрытой марковской моделью (HMM), подверженной шумам измерения. Такие модели используются для многих биологических систем: они, например, использовались в разработке, передаче клеточных сигналов , активации / деактивации, логической обработке и неравновесной термодинамике . Например, поведение фактора транскрипции Sonic hedgehog (Shh) у Drosophila melanogaster может быть смоделировано с помощью HMM. ^[14] (Биологическая) динамическая модель состоит из двух состояний: A и B. Если вероятность перехода из одного состояния в другое определяется как${\displaystyle \theta }$в обоих направлениях, то вероятность оставаться в том же состоянии на каждом временном шаге равна . Вероятность правильного измерения состояния равна (и, наоборот, вероятность неправильного измерения равна ).${\displaystyle {1-\theta }}$${\displaystyle \gamma }$${\displaystyle {1-\gamma }}$

Из-за условных зависимостей между состояниями в разные моменты времени расчет вероятности данных временных рядов несколько утомителен, что иллюстрирует мотивацию использования ABC. Вычислительная проблема для базовой ABC - это большая размерность данных в таком приложении. Размерность можно уменьшить с помощью сводной статистики , которая представляет собой частоту переключений между двумя состояниями. Абсолютная разница используется как мера расстояния с допуском . Апостериорный вывод о параметре можно сделать, выполнив пять шагов, представленных в.${\displaystyle S}$${\displaystyle \rho (\cdot ,\cdot )}$${\displaystyle \epsilon =2}$${\displaystyle \theta }$

Шаг 1. Предположим, что наблюдаемые данные образуют последовательность состояний AAAABAABBAAAAAABAAAA, которая генерируется с использованием и . Соответствующая суммарная статистика - количество переключений между состояниями в экспериментальных данных - составляет .${\displaystyle \theta =0.25}$${\displaystyle \gamma =0.8}$${\displaystyle \omega _{E}=6}$

Шаг 2: если ничего не известно , используется единый априор в интервале . Предполагается, что параметр известен и зафиксирован на значении , генерирующем данные , но, как правило, он также может быть оценен на основе наблюдений. Всего точки параметров взяты из предыдущего, и модель моделируется для каждой из точек параметров , что приводит к последовательностям смоделированных данных. В этом примере, с каждым отрисованным параметром и смоделированным набором данных, записанными в столбцы 2-3 таблицы 1 . На практике, чтобы получить подходящее приближение , должно быть намного больше.${\displaystyle \theta }$${\displaystyle [0,1]}$${\displaystyle \gamma }$${\displaystyle \gamma =0.8}$${\displaystyle n}$${\displaystyle \theta _{i}:{\text{ }}i=1,\ldots ,n}$${\displaystyle n}$${\displaystyle n=5}$${\displaystyle n}$

Пример алгоритма отклонения ABC

я	${\displaystyle \theta _{i}}$	Смоделированные наборы данных (шаг 2)	Сводная статистика (шаг 3) ${\displaystyle \omega _{S,i}}$	Расстояние (шаг 4)${\displaystyle \rho (\omega _{S,i},\omega _{E})}$	Результат (шаг 4)
1	0,08	AABAAAABAABAAABAAAAA	8	2	принято
2	0,68	AABBABABAAABBABABBAB	13	7	отклоненный
3	0,87	BBBABBABBBBABABBBBBA	9	3	отклоненный
4	0,43	AABAAAAABBABBBBBBBBA	6	0	принято
5	0,53	ABBBBBAABBABBABAABBB	9	3	отклоненный

Шаг 3. Суммарная статистика вычисляется для каждой последовательности смоделированных данных .${\displaystyle \omega _{S,i}:{\text{ }}i=1,\ldots ,n}$

Шаг 4: Расстояние между наблюдаемой и смоделированной частотами перехода вычисляется для всех точек параметров. Точки параметров, для которых расстояние меньше или равно , принимаются как приблизительные выборки с апостериорной точки.${\displaystyle \rho (\omega _{S,i},\omega _{E})=|\omega _{S,i}-\omega _{E}|}$${\displaystyle \epsilon }$

Заднее значение, полученное в примере (красный), по сравнению с истинным апостериорным распределением (черный) и моделированием ABC с большим . Использование недостаточной итоговой статистики вносит систематическую ошибку, даже когда требуется (светло-зеленый).${\displaystyle \theta }$${\displaystyle n}$${\displaystyle \omega }$${\displaystyle \epsilon =0}$

Шаг 5: Апостериорное распределение аппроксимируется принятыми точками параметров. Апостериорное распределение должно иметь значительную вероятность для значений параметров в области, близкой к истинному значению в системе, если данные достаточно информативны. В этом примере масса апостериорной вероятности равномерно разделена между значениями 0,08 и 0,43.${\displaystyle \theta }$

Апостериорные вероятности получаются через ABC с большим путем использования сводной статистики (с и ) и полной последовательности данных (с ). Они сравниваются с истинными апостериорными данными, которые можно точно и эффективно вычислить с помощью алгоритма Витерби . Сводной статистики, использованной в этом примере, недостаточно, поскольку отклонение от теоретического апостериорного значения является значительным даже при строгом требовании . Чтобы получить апостериорную концентрацию вокруг истинного значения, потребовалась бы гораздо более длинная последовательность наблюдаемых данных .${\displaystyle n}$${\displaystyle \epsilon =0}$${\displaystyle \epsilon =2}$${\displaystyle \epsilon =0}$${\displaystyle \epsilon =0}$${\displaystyle \theta =0.25}$${\displaystyle \theta }$

В этом примере приложения ABC используются упрощения в иллюстративных целях. Более реалистичные приложения ABC доступны во все большем количестве рецензируемых статей. ^{[10] [11] [12] [15]}

Сравнение моделей с ABC [ править ]

Помимо оценки параметров, структура ABC может использоваться для вычисления апостериорных вероятностей различных моделей-кандидатов. ^{[16] [17] [18]} В таких приложениях одна из возможностей состоит в иерархическом использовании выборки отбраковки. Во-первых, модель выбирается из предыдущего распределения для моделей. Затем параметры выбираются из предыдущего распределения, назначенного этой модели. Наконец, моделирование выполняется, как в одномодельном ABC. Относительные частоты принятия для различных моделей теперь аппроксимируют апостериорное распределение для этих моделей. Опять же, были предложены вычислительные улучшения для ABC в пространстве моделей, такие как построение фильтра частиц в объединенном пространстве моделей и параметров. ^[18]

После оценки апостериорных вероятностей моделей можно в полной мере использовать методы сравнения байесовских моделей . Например, чтобы сравнить относительную правдоподобность двух моделей и , можно вычислить их апостериорное отношение, которое связано с байесовским фактором :${\displaystyle M_{1}}$${\displaystyle M_{2}}$ ${\displaystyle B_{1,2}}$

${\displaystyle {\frac {p(M_{1}|D)}{p(M_{2}|D)}}={\frac {p(D|M_{1})}{p(D|M_{2})}}{\frac {p(M_{1})}{p(M_{2})}}=B_{1,2}{\frac {p(M_{1})}{p(M_{2})}}}$.

Если апостериорные факторы модели равны, то есть фактор Байеса равен апостериорному отношению.${\displaystyle p(M_{1})=p(M_{2})}$

На практике, как обсуждается ниже , эти меры могут быть очень чувствительны к выбору параметров априорного распределения и сводной статистики, и поэтому выводы сравнения моделей следует делать с осторожностью.

Подводные камни и способы устранения [ править ]

Потенциальные риски и способы их устранения в статистических выводах на основе ABC

Источник ошибки	Возможная проблема	Решение	Подраздел
Ненулевой допуск ${\displaystyle \epsilon }$	Неточность вносит систематическую ошибку в вычисленное апостериорное распределение.	Теоретические / практические исследования чувствительности апостериорного распределения к толерантности. Шумная азбука.	# Аппроксимация заднего
Недостаточная сводная статистика	Потеря информации приводит к завышению достоверных интервалов.	Автоматический выбор / полуавтоматическое определение достаточной статистики. Проверки достоверности модели (например, Templeton 2009 [19] ).	# Выбор и достаточность сводной статистики
Небольшое количество моделей / неправильно указанные модели	Исследуемые модели не репрезентативны / не обладают прогностической силой.	Тщательный подбор моделей. Оценка предсказательной силы.	# Небольшое количество моделей
Приоры и диапазоны параметров	Выводы могут быть чувствительны к выбору априори. Выбор модели может быть бессмысленным.	Проверить чувствительность байесовских факторов к выбору априорных точек. Имеются некоторые теоретические результаты по выбору априорной точки. Используйте альтернативные методы для проверки модели.	# Предварительное распределение и диапазоны параметров
Проклятие размерности	Низкая скорость приема параметров. Ошибки модели нельзя отличить от недостаточного изучения пространства параметров. Риск переобучения.	Методы редукции модели, если применимо. Способы ускорения исследования параметров. Контроль качества для выявления переобучения.	# Проклятие размерности
Рейтинг модели со сводной статистикой	Вычисление байесовских факторов в сводной статистике может не быть связано с байесовскими факторами в исходных данных, что может сделать результаты бессмысленными.	Используйте только сводные статистические данные, которые удовлетворяют необходимым и достаточным условиям для создания последовательного выбора байесовской модели. Используйте альтернативные методы для проверки модели.	# Коэффициент Байеса с ABC и сводной статистикой
Выполнение	Низкая защита от общих допущений в процессе моделирования и вывода.	Проверка результатов на вменяемость. Стандартизация программного обеспечения.	# Обязательный контроль качества

Как и для всех статистических методов, для применения методов, основанных на ABC, к реальным задачам моделирования необходим ряд допущений и приближений. Например, установка параметра допуска ϵ {\displaystyle \epsilon } на ноль обеспечивает точный результат, но обычно делает вычисления слишком дорогими. Таким образом, на практике используются значения больше нуля, что вносит систематическую ошибку. Аналогичным образом, достаточная статистика обычно недоступна, и вместо нее используется другая сводная статистика, что вносит дополнительную систематическую ошибку из-за потери информации. Дополнительные источники систематической ошибки - например, в контексте выбора модели - могут быть более тонкими. ^{[13] [20]}${\displaystyle \epsilon }$

В то же время, некоторые из критических замечаний, направленных на методы ABC, в частности в области филогеографии , ^{[19] [21] [22]} , не относятся к ABC и относятся ко всем байесовским методам или даже ко всем статистическим методам. методы (например, выбор априорного распределения и диапазонов параметров). ^{[10] [23]} Однако из-за способности ABC-методов обрабатывать гораздо более сложные модели, некоторые из этих общих ловушек имеют особое значение в контексте анализа ABC.

В этом разделе обсуждаются эти потенциальные риски и рассматриваются возможные способы их устранения.

Аппроксимация заднего отдела [ править ]

Не пренебрежимо малое имеет цену, которую выбирают вместо истинной апостериорной оценки . При достаточно малом допуске и разумной мере расстояния результирующее распределение часто должно достаточно хорошо аппроксимировать фактическое целевое распределение . С другой стороны, допуск, достаточно большой для того, чтобы каждая точка в пространстве параметров стала приемлемой, даст копию предыдущего распределения. Существуют эмпирические исследования разницы между и как функции , ^[24] и теоретические результаты для верхней границы ошибки в оценках параметров. ^[25]${\displaystyle \epsilon }$${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$${\displaystyle p(\theta |D)}$${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$${\displaystyle p(\theta |D)}$${\displaystyle p(\theta |\rho ({\hat {D}},D)\leq \epsilon )}$${\displaystyle p(\theta |D)}$${\displaystyle \epsilon }$${\displaystyle \epsilon }$Также была исследована точность апостериорной (определяемой как ожидаемые квадратичные потери) ABC как функции от . ^[26] Однако сходимость распределений при приближении к нулю и то, как она зависит от используемой меры расстояния, является важной темой, которую еще предстоит исследовать более подробно. В частности, по-прежнему трудно отделить ошибки, вносимые этим приближением, от ошибок, вызванных неправильной спецификацией модели. ^[10]${\displaystyle \epsilon }$${\displaystyle \epsilon }$

В качестве попытки исправить часть ошибки из-за ненулевого значения было предложено использование локальной линейно-взвешенной регрессии с ABC для уменьшения дисперсии апостериорных оценок. ^[8] Метод присваивает веса параметрам в соответствии с тем, насколько хорошо смоделированные сводки соответствуют наблюдаемым, и выполняет линейную регрессию между сводками и взвешенными параметрами в непосредственной близости от наблюдаемых сводок. Полученные коэффициенты регрессии используются для корректировки параметров выборки в направлении наблюдаемых итогов. Было предложено улучшение в форме нелинейной регрессии с использованием модели нейронной сети с прямой связью. ^[27]${\displaystyle \epsilon }$Однако было показано, что апостериорные распределения, полученные с помощью этих подходов, не всегда согласуются с априорным распределением, что действительно привело к переформулировке регрессионной корректировки, которая учитывает априорное распределение. ^[28]

Наконец, статистический вывод с использованием ABC с ненулевым допуском не является дефектным по своей сути: при допущении ошибок измерения можно показать , что оптимальное значение действительно не равно нулю. ^{[26] [29]} Действительно, смещение, вызванное ненулевым допуском, может быть охарактеризовано и компенсировано путем введения определенной формы шума в сводную статистику. Была установлена ​​асимптотическая согласованность для такой «зашумленной ABC», а также формулы для асимптотической дисперсии оценок параметров для фиксированного допуска. ^[26]${\displaystyle \epsilon }$${\displaystyle \epsilon }$

Выбор и достаточность сводной статистики [ править ]

Сводная статистика может использоваться для увеличения степени принятия ABC для данных большой размерности. Достаточная низкоразмерная статистика оптимальна для этой цели, поскольку она фиксирует всю важную информацию, имеющуюся в данных, в простейшей возможной форме. ^[12] Однако достаточная низкоразмерная статистика обычно недостижима для статистических моделей, где вывод на основе ABC является наиболее релевантным, и, следовательно, некоторая эвристика обычно необходима для определения полезной сводной низкоразмерной статистики. Использование набора плохо подобранных сводных статистических данных часто приводит к завышению достоверных интервалов из-за подразумеваемой потери информации ^[12].что также может искажать дискриминацию между моделями. Доступен обзор методов выбора сводной статистики ^[30], который может дать ценные практические рекомендации.

Один из подходов к получению большей части информации, представленной в данных, - это использование множества статистических данных, но точность и стабильность ABC, по-видимому, быстро снижается с увеличением количества сводных статистических данных. ^{[10] [12]} Вместо этого, лучшая стратегия - сосредоточиться только на релевантной статистике - релевантность зависит от всей проблемы вывода, от используемой модели и от имеющихся данных. ^[31]

Был предложен алгоритм для идентификации репрезентативного подмножества итоговой статистики путем итеративной оценки того, вносит ли дополнительная статистика значимое изменение апостериорной. ^[32] Одна из проблем заключается в том, что большая ошибка аппроксимации ABC может сильно повлиять на выводы о полезности статистики на любом этапе процедуры. Другой метод ^[31] разбивается на два основных этапа. Во-первых, эталонное приближение апостериорного строится путем минимизации энтропии . Наборы резюме кандидатов затем оцениваются путем сравнения апостериорных значений, аппроксимируемых ABC, с эталонными апостериорными.

В обеих этих стратегиях подмножество статистики выбирается из большого набора статистических данных-кандидатов. Вместо этого подход регрессии частичных наименьших квадратов использует информацию из всех статистических данных кандидатов, каждая из которых имеет соответствующий вес. ^[33] В последнее время значительный интерес вызывает метод построения сводок полуавтоматическим способом. ^[26] Этот метод основан на наблюдении, что оптимальный выбор сводной статистики при минимизации квадратичных потерь точечных оценок параметров может быть получен через апостериорное среднее значение параметров, которое аппроксимируется путем выполнения линейной регрессии на основе смоделированные данные.

Существенную ценность будут иметь методы идентификации сводной статистики, которые также могут одновременно оценить влияние на аппроксимацию апостериорной. ^[34] Это связано с тем, что выбор сводной статистики и выбор допуска составляют два источника ошибок в результирующем апостериорном распределении. Эти ошибки могут нарушить ранжирование моделей, а также могут привести к неверным прогнозам модели. Действительно, ни один из вышеперечисленных методов не оценивает выбор сводок для целей выбора модели.

Фактор Байеса с ABC и сводной статистикой [ править ]

Было показано, что сочетание недостаточной сводной статистики и ABC для выбора модели может быть проблематичным. ^{[13] [20] В} самом деле, если позволить байесовскому фактору, основанному на итоговой статистике, быть обозначенным как , то связь между и принимает форму: ^[13]${\displaystyle S(D)}$${\displaystyle B_{1,2}^{s}}$${\displaystyle B_{1,2}}$${\displaystyle B_{1,2}^{s}}$

${\displaystyle B_{1,2}={\frac {p(D|M_{1})}{p(D|M_{2})}}={\frac {p(D|S(D),M_{1})}{p(D|S(D),M_{2})}}{\frac {p(S(D)|M_{1})}{p(S(D)|M_{2})}}={\frac {p(D|S(D),M_{1})}{p(D|S(D),M_{2})}}B_{1,2}^{s}}$.

Таким образом, сводная статистика является достаточным для сравнения двух моделей и , если и только если:${\displaystyle S(D)}$${\displaystyle M_{1}}$${\displaystyle M_{2}}$

${\displaystyle p(D|S(D),M_{1})=p(D|S(D),M_{2})}$,

что приводит к этому . Из приведенного выше уравнения также ясно, что между условием и при его невыполнении может быть огромная разница , что можно продемонстрировать на игрушечных примерах. ^{[13] [17] [20]} Кардинально, это было показано , что достаточность для или в одиночку, или для обеих моделей, не гарантирует достаточность для ранжирования моделей. ^[13] Однако было также показано, что любая достаточная суммарная статистика для модели, в которой оба и являются вложенными , действительна для ранжирования вложенных моделей . ^[13]${\displaystyle B_{1,2}=B_{1,2}^{s}}$${\displaystyle B_{1,2}}$${\displaystyle B_{1,2}^{s}}$${\displaystyle M_{1}}$${\displaystyle M_{2}}$${\displaystyle M}$${\displaystyle M_{1}}$${\displaystyle M_{2}}$

Таким образом, расчет байесовских коэффициентов может вводить в заблуждение для целей выбора модели, если только соотношение между байесовскими коэффициентами и не будет доступно или, по крайней мере, может быть достаточно хорошо аппроксимировано. В качестве альтернативы, недавно были получены необходимые и достаточные условия для сводной статистики для последовательного выбора байесовской модели ^[35], которые могут служить полезным руководством.${\displaystyle S(D)}$${\displaystyle D}$${\displaystyle S(D)}$

Однако эта проблема актуальна только для выбора модели, когда размер данных был уменьшен. Вывод на основе ABC, в котором фактические наборы данных сравниваются напрямую, как в случае некоторых приложений системной биологии (например, см. ^[36] ), позволяет обойти эту проблему.

Незаменимый контроль качества [ править ]

Как ясно из приведенного выше обсуждения, любой анализ ABC требует выбора и компромиссов, которые могут оказать значительное влияние на его результаты. В частности, выбор конкурирующих моделей / гипотез, количество симуляций, выбор сводной статистики или порога приемлемости в настоящее время не могут основываться на общих правилах, но влияние этих вариантов следует оценивать и проверять в каждом исследовании. ^[11]

Было предложено несколько эвристических подходов к контролю качества ABC, таких как количественная оценка доли дисперсии параметра, объясняемой сводной статистикой. ^[11] Общий класс методов направлен на оценку того, дает ли вывод достоверные результаты, независимо от фактически наблюдаемых данных. Например, учитывая набор значений параметров, которые обычно берутся из априорного или апостериорного распределений для модели, можно сгенерировать большое количество искусственных наборов данных. Таким образом, качество и надежность вывода ABC можно оценить в контролируемых условиях, измерив, насколько хорошо выбранный метод вывода ABC восстанавливает истинные значения параметров, а также модели, если одновременно рассматриваются несколько структурно различных моделей.

Другой класс методов оценивает, был ли вывод успешным в свете данных наблюдаемых данных, например, сравнивая апостериорное прогнозирующее распределение суммарной статистики с наблюдаемой суммарной статистикой. ^[11] Помимо этого, методы перекрестной проверки ^[37] и прогностические проверки ^{[38] [39]}представляют собой многообещающие будущие стратегии для оценки стабильности и прогностической достоверности выводов ABC вне выборки. Это особенно важно при моделировании больших наборов данных, потому что тогда апостериорная поддержка конкретной модели может показаться чрезвычайно убедительной, даже если все предложенные модели на самом деле являются плохим представлением стохастической системы, лежащей в основе данных наблюдений. Прогностические проверки вне выборки могут выявить потенциальные систематические ошибки в модели и дать подсказки о том, как улучшить ее структуру или параметризацию.

Недавно были предложены принципиально новые подходы к выбору модели, в которых контроль качества является неотъемлемой частью процесса. ABC позволяет путем построения оценить расхождения между наблюдаемыми данными и прогнозами модели в отношении полного набора статистических данных. Эти статистические данные не обязательно совпадают со статистическими данными, используемыми в критерии приемки. Полученные распределения несоответствия использовались для выбора моделей, которые согласуются со многими аспектами данных одновременно ^[40].а несогласованность модели выявляется из противоречивых и взаимозависимых сводок. Другой метод выбора модели, основанный на контроле качества, использует ABC для аппроксимации эффективного количества параметров модели и отклонения апостериорных прогнозных распределений сводок и параметров. ^[41] Затем информационный критерий отклонения используется в качестве меры соответствия модели. Также было показано, что модели, предпочитаемые на основе этого критерия, могут конфликтовать с моделями, поддерживаемыми байесовскими факторами . По этой причине для получения правильных выводов полезно комбинировать разные методы выбора модели.

Контроль качества достижим и действительно выполняется во многих работах, основанных на ABC, но для определенных проблем оценка влияния параметров, связанных с методом, может быть сложной задачей. Однако можно ожидать, что быстро растущее использование ABC обеспечит более полное понимание ограничений и применимости метода.

Общие риски статистического вывода усугубляются в ABC [ править ]

В этом разделе рассматриваются риски, которые, строго говоря, не относятся к ABC, но также актуальны и для других статистических методов. Однако гибкость, предлагаемая ABC для анализа очень сложных моделей, делает их очень актуальными для обсуждения здесь.

Предыдущее распределение и диапазоны параметров [ править ]

Спецификация диапазона и предварительное распределение параметров сильно выигрывают от предыдущих знаний о свойствах системы. Одна из критических замечаний заключалась в том, что в некоторых исследованиях «диапазоны и распределения параметров только предполагаются на основе субъективного мнения исследователей» ^[42], что связано с классическими возражениями байесовских подходов. ^[43]

При любом вычислительном методе обычно необходимо ограничить исследуемые диапазоны параметров. Диапазоны параметров следует, по возможности, определять на основе известных свойств изучаемой системы, но для практических приложений может потребоваться обоснованное предположение. Однако доступны теоретические результаты, касающиеся объективных априорных значений , которые могут, например, основываться на принципе безразличия или принципе максимальной энтропии . ^{[44] [45]} С другой стороны, автоматизированные или полуавтоматические методы выбора априорного распределения часто дают неправильную плотность . Поскольку большинство процедур ABC требует генерации выборок из предыдущих, неправильные априорные значения не применимы напрямую к ABC.

Также следует помнить о цели анализа при выборе априорного распределения. В принципе, неинформативные и плоские априорные значения, которые преувеличивают наше субъективное незнание параметров, все же могут давать разумные оценки параметров. Однако байесовские факторы очень чувствительны к предварительному распределению параметров. Выводы о выборе модели, основанные на факторе Байеса, могут вводить в заблуждение, если тщательно не учитывать чувствительность выводов к выбору априорных значений.

Небольшое количество моделей [ править ]

Методы, основанные на моделях, подвергались критике за то, что они не полностью покрывают пространство гипотез. ^[22] Действительно, исследования, основанные на моделях, часто вращаются вокруг небольшого числа моделей, и из-за высоких вычислительных затрат на оценку одной модели в некоторых случаях может быть трудно охватить большую часть пространства гипотез.

Верхний предел количества рассматриваемых моделей-кандидатов обычно устанавливается значительными усилиями, необходимыми для определения моделей и выбора между множеством альтернативных вариантов. ^[11] Не существует общепринятой специфической для ABC процедуры построения модели, поэтому вместо нее используются опыт и предварительные знания. ^[12] Хотя более надежные процедуры для априорного выбора и формулировки модели были бы полезны, не существует универсальной стратегии для разработки моделей в статистике: разумное описание сложных систем всегда потребует большой детективной работы и использование экспертных знаний из проблемной области.

Некоторые противники ABC утверждают, что, поскольку только несколько моделей - субъективно выбранных и, вероятно, все неправильные - могут быть реалистично рассмотрены, анализ ABC дает лишь ограниченное понимание. ^[22] Однако существует важное различие между выявлением правдоподобной нулевой гипотезы и оценкой относительной пригодности альтернативных гипотез. ^[10]Поскольку полезные нулевые гипотезы, которые потенциально верны, крайне редко могут быть выдвинуты в контексте сложных моделей, предсказательная способность статистических моделей в качестве объяснения сложных явлений гораздо важнее, чем проверка статистической нулевой гипотезы в этом контексте. Также часто используется усреднение по исследуемым моделям, взвешенное на основе их относительной правдоподобности, чтобы вывести характеристики модели (например, значения параметров) и сделать прогнозы.

Большие наборы данных [ править ]

Большие наборы данных могут составлять вычислительное узкое место для методов, основанных на моделях. Было, например, указано, что в некоторых анализах на основе ABC часть данных следует опускать. ^[22] Ряд авторов утверждали, что большие наборы данных не являются практическим ограничением ^{[11] [43],} хотя серьезность этой проблемы сильно зависит от характеристик моделей. Некоторые аспекты проблемы моделирования могут способствовать сложности вычислений, например, размер выборки, количество наблюдаемых переменных или характеристик, временное или пространственное разрешение и т. Д. Однако с увеличением вычислительной мощности этот вопрос потенциально станет менее важным.

Вместо параметров выборки для каждой предыдущей модели было предложено в качестве альтернативы объединить алгоритм Метрополиса-Гастингса с ABC, что, как сообщалось, привело к более высокому показателю приемлемости, чем для простого ABC. ^[34] Естественно, такой подход наследует общие трудности методов MCMC, такие как сложность оценки сходимости, корреляции между выборками из апостериорного анализа ^[24] и относительно плохая возможность распараллеливания. ^[11]

Аналогичным образом, идеи последовательных методов Монте-Карло (SMC) и популяционного Монте-Карло (PMC) были адаптированы к настройке ABC. ^{[24] [46]} Общая идея состоит в том, чтобы итеративно подходить к апостериорному от предшествующего через последовательность целевых распределений. Преимущество таких методов по сравнению с ABC-MCMC состоит в том, что выборки из полученных апостериорных данных независимы. Кроме того, при использовании последовательных методов уровни допуска не должны указываться перед анализом, а должны корректироваться адаптивно. ^[47]

Относительно просто распараллелить ряд шагов в алгоритмах ABC на основе выборки отбраковки и последовательных методов Монте-Карло . Также было продемонстрировано, что параллельные алгоритмы могут привести к значительному ускорению вывода на основе MCMC в филогенетике ^[48], что может быть приемлемым подходом также для методов, основанных на ABC. Тем не менее, адекватная модель сложной системы, скорее всего, потребует интенсивных вычислений независимо от выбранного метода вывода, и выбор метода, который подходит для конкретного рассматриваемого приложения, остается за пользователем.

Проклятие размерности [ править ]

Высокомерные наборы данных и многомерные пространства параметров могут потребовать моделирования чрезвычайно большого количества точек параметров в исследованиях на основе ABC, чтобы получить разумный уровень точности для апостериорных выводов. В таких ситуациях стоимость вычислений сильно возрастает и может в худшем случае сделать вычислительный анализ трудноразрешимым. Это примеры хорошо известных явлений, которые обычно называют « проклятием размерности» . ^[49]

Чтобы оценить, насколько сильно размерность набора данных влияет на анализ в контексте ABC, были выведены аналитические формулы для ошибки оценок ABC в зависимости от измерения сводной статистики. ^{[50] [51]} Кроме того, Блюм и Франсуа исследовали, как размерность сводной статистики связана со среднеквадратической ошибкой для различных поправок к ошибке оценок ABC. Также утверждалось, что методы уменьшения размерности полезны, чтобы избежать проклятия размерности из-за потенциально низкоразмерной базовой структуры сводной статистики. ^[50]Стремясь минимизировать квадратичные потери оценок ABC, Фернхед и Прангл предложили схему проецирования (возможно, многомерных) данных в оценки апостериорных средних значений параметра; эти средства, теперь имеющие то же измерение, что и параметры, затем используются в качестве сводной статистики для ABC. ^[51]

ABC может использоваться для вывода проблем в многомерных пространствах параметров, хотя следует учитывать возможность переобучения (например, см. Методы выбора модели в ^[40] и ^[41] ). Однако вероятность принятия смоделированных значений параметров при заданном допуске с помощью алгоритма отклонения ABC обычно уменьшается экспоненциально с увеличением размерности пространства параметров (из-за глобального критерия приемлемости). ^[12] Хотя ни один вычислительный метод (основанный на ABC или нет), кажется, не может разрушить проклятие размерности, недавно были разработаны методы для обработки пространств параметров большой размерности при определенных предположениях (например, на основе полиномиального приближения на разреженные сетки, ^[52]что потенциально может значительно сократить время моделирования для ABC). Однако применимость таких методов зависит от конкретной проблемы, и в целом не следует недооценивать сложность исследования пространств параметров. Например, введение детерминированной оценки глобальных параметров привело к сообщениям о том, что глобальные оптимумы, полученные в нескольких предыдущих исследованиях проблем с низкой размерностью, были неверными. ^[53] Поэтому для некоторых проблем может быть трудно узнать, является ли модель неправильной или, как обсуждалось выше , является ли исследуемая область пространства параметров неподходящей. ^[22] Более прагматичные подходы заключаются в сокращении масштабов проблемы за счет сокращения модели, ^[12]Дискретизация переменных и использование канонических моделей, таких как модели с шумом. Шумные модели используют информацию об условной независимости между переменными. ^[54]

Программное обеспечение [ править ]

В настоящее время доступен ряд пакетов программного обеспечения для применения ABC к определенным классам статистических моделей.

Пригодность отдельных пакетов программного обеспечения зависит от конкретного приложения, среды компьютерной системы и требуемых алгоритмов.

См. Также [ править ]

• Цепь Маркова Монте-Карло
• Эмпирический байесовский

Ссылки [ править ]

Эта статья была адаптирована из следующего источника по лицензии CC BY 4.0 ( 2013 г. ) ( отчеты рецензента ): «Приближенное байесовское вычисление» . PLOS Вычислительная биология . 9 (1): e1002803. 2013. DOI : 10.1371 / JOURNAL.PCBI.1002803 . ISSN  1553-734X . PMC  3547661 . PMID  23341757 . Викиданные  Q4781761 .

Внешние ссылки [ править ]

• Даррен Уилкинсон (31 марта 2013 г.). «Введение в приближенное байесовское вычисление» . Проверено 31 марта 2013 .
• Расмус Баат (20 октября 2014 г.). «Крошечные данные, приближенное байесовское вычисление и носки Карла Бромана» . Проверено 22 января 2015 .