Самостоятельная загрузка (статистика)

Бутстрапирование - это любой тест или показатель, использующий случайную выборку с заменой (например, имитацию процесса выборки) и подпадающий под более широкий класс методов повторной выборки . Начальная загрузка назначает меры точности (систематическая ошибка, дисперсия, доверительные интервалы , ошибка прогнозирования и т. Д.) Для выборочных оценок. ^{[1] [2]} Этот метод позволяет оценить распределение выборки практически любой статистики с использованием методов случайной выборки. ^{[3] [4]}

Начальная загрузка оценивает свойства оценщика (например, его дисперсию ), измеряя эти свойства при выборке из аппроксимирующего распределения. Одним из стандартных вариантов аппроксимирующего распределения является эмпирическая функция распределения наблюдаемых данных. В случае, когда можно предположить, что набор наблюдений поступает от независимой и идентично распределенной совокупности, это может быть реализовано путем построения ряда повторных выборок с заменой наблюдаемого набора данных (и равного размера наблюдаемому набору данных) .

Его также можно использовать для построения тестов гипотез . Он часто используется в качестве альтернативы статистическому выводу, основанному на предположении о параметрической модели, когда это предположение вызывает сомнения, или когда параметрический вывод невозможен или требует сложных формул для вычисления стандартных ошибок .

История [ править ]

Бутстрап был опубликован Брэдли Эфроном в книге «Методы начальной загрузки: новый взгляд на складной нож» (1979), ^{[5] [6] [7],} вдохновленный более ранней работой с складным ножом . ^{[8] [9] [10]} Улучшенные оценки дисперсии были разработаны позже. ^{[11] [12]} Байесовское расширение было разработано в 1981 году. ^[13] Бутстрап с коррекцией смещения и ускорением (BCa) был разработан Efron в 1987 году ^[14], а процедура ABC - в 1992 году. ^[15]

Подход [ править ]

Основная идея начальной загрузки заключается в том, что вывод о генеральной совокупности на основе данных выборки (выборка → совокупность) может быть смоделирован путем повторной выборки данных выборки и выполнения вывода о выборке из данных повторной выборки (повторная выборка → выборка). Поскольку генеральная совокупность неизвестна, истинная ошибка в статистике выборки относительно ее значения генеральной совокупности неизвестна. В бутстрап-повторной выборке «совокупность» на самом деле является выборкой, и это известно; следовательно, качество вывода «истинной» выборки из данных повторной выборки (повторная выборка → выборка) поддается измерению.

Более формально бутстрап работает, трактуя вывод истинного распределения вероятностей J , учитывая исходные данные, как аналогию вывода эмпирического распределения Ĵ , учитывая данные повторной выборки. Точность выводов относительно Ĵ с использованием данных передискретизируется можно оценить , потому что мы знаем Ĵ . Если Ĵ является разумным приближением к J , то, в свою очередь, можно сделать вывод о качестве вывода о J.

В качестве примера предположим, что нас интересует средний (или средний ) рост людей во всем мире. Мы не можем измерить всех людей в глобальной популяции, поэтому вместо этого мы отбираем только крошечную ее часть и измеряем ее. Предположим, что размер выборки N ; то есть мы измеряем рост N человек. Из этого единственного образца можно получить только одну оценку среднего. Чтобы рассуждать о популяции, нам нужно некоторое представление об изменчивости среднего, которое мы вычислили. Самый простой метод начальной загрузки включает в себя получение исходного набора данных о высотах и, с помощью компьютера, выборку из него для формирования новой выборки (называемой `` повторной выборкой '' или выборкой начальной загрузки), которая также имеет размер  N.. Образец начальной загрузки берется из оригинала с помощью выборки с заменой (например, мы могли бы «передискретизировать» 5 раз из [1,2,3,4,5] и получить [2,5,4,4,1]), поэтому , полагая Nдостаточно велик, для всех практических целей вероятность того, что он будет идентичен исходному «реальному» образцу, практически равна нулю. Этот процесс повторяется большое количество раз (обычно 1000 или 10000 раз), и для каждой из этих выборок начальной загрузки мы вычисляем ее среднее значение (каждая из них называется оценками начальной загрузки). Теперь мы можем создать гистограмму средств начальной загрузки. Эта гистограмма дает оценку формы распределения выборочного среднего, исходя из которой мы можем ответить на вопросы о том, насколько среднее значение варьируется в разных выборках. (Метод, описанный здесь для среднего, может быть применен практически к любой другой статистике или оценке .)

Обсуждение [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Преимущества [ править ]

Большим преимуществом бутстрапа является его простота. Это простой способ получить оценки стандартных ошибок и доверительных интервалов для сложных оценщиков распределения, таких как процентильные точки, пропорции, отношение шансов и коэффициенты корреляции. Bootstrap также является подходящим способом контроля и проверки стабильности результатов. Хотя для большинства задач невозможно узнать истинный доверительный интервал, бутстрап асимптотически более точен, чем стандартные интервалы, полученные с использованием выборочной дисперсии и предположений о нормальности. ^[16] Самостоятельная загрузка также является удобным методом, позволяющим избежать затрат на повторение эксперимента для получения других групп образцов данных.

Недостатки [ править ]

Хотя бутстрэппинг (при некоторых условиях) асимптотически согласован , он не дает общих гарантий конечной выборки. Результат может зависеть от репрезентативной выборки. Кажущаяся простота может скрывать тот факт, что при проведении бутстрап-анализа делаются важные предположения (например, независимость выборок), тогда как они были бы более формально сформулированы в других подходах. Кроме того, начальная загрузка может занять много времени.

Рекомендации [ править ]

Ученые рекомендовали больше образцов начальной загрузки по мере увеличения доступной вычислительной мощности. Если результаты могут иметь существенные последствия в реальном мире, то следует использовать столько выборок, сколько разумно, с учетом доступной вычислительной мощности и времени. Увеличение количества выборок не может увеличить количество информации в исходных данных; он может только уменьшить влияние случайных ошибок выборки, которые могут возникнуть в результате самой процедуры начальной загрузки. Более того, есть свидетельства того, что количество выборок, превышающее 100, приводит к незначительным улучшениям в оценке стандартных ошибок. ^[17] Фактически, согласно первоначальному разработчику метода начальной загрузки, даже установка количества выборок на 50, вероятно, приведет к довольно хорошим оценкам стандартной ошибки. ^[18]

Adèr et al. рекомендуют процедуру начальной загрузки для следующих ситуаций: ^[19]

• Когда теоретическое распределение интересующей статистики сложно или неизвестно. Поскольку процедура начальной загрузки не зависит от распределения, она предоставляет косвенный метод для оценки свойств распределения, лежащего в основе выборки, и интересующих параметров, полученных из этого распределения.

• Когда размер выборки недостаточен для прямого статистического вывода. Если основное распределение хорошо известно, бутстрэппинг предоставляет способ учесть искажения, вызванные конкретной выборкой, которая может не быть полностью репрезентативной для генеральной совокупности.

• Когда необходимо выполнить расчеты мощности и имеется небольшая пилотная выборка. Большинство вычислений мощности и размера выборки сильно зависят от стандартного отклонения интересующей статистики. Если использованная оценка неверна, требуемый размер выборки также будет неверным. Один из способов получить представление об изменении статистики - использовать небольшую пилотную выборку и выполнить на ней самонастройку, чтобы получить представление об отклонении.

Однако Athreya показал ^[20], что если выполнить наивный бутстрап для выборочного среднего, когда базовая популяция не имеет конечной дисперсии (например, распределения по степенному закону ), то бутстраповское распределение не будет сходиться к тому же пределу, что и выборочное среднее. В результате доверительные интервалы на основе моделирования бутстрапа методом Монте-Карло могут вводить в заблуждение. Атрея заявляет, что «если кто-то не уверен в том, что основной дистрибутив не имеет тяжелых хвостов , следует отказаться от использования наивного бутстрапа».

Типы схем начальной загрузки [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В одномерных задачах обычно допустимо повторная выборка отдельных наблюдений с заменой («повторная выборка случая» ниже) в отличие от субдискретизации , в которой повторная выборка выполняется без замены и действительна в гораздо более слабых условиях по сравнению с бутстрапом. В небольших выборках может быть предпочтительнее параметрический подход начальной загрузки. Для других проблем, вероятно, будет предпочтительнее плавная загрузка .

Для задач регрессии доступны различные другие альтернативы. ^[21]

Повторная выборка случая [ править ]

Bootstrap обычно полезен для оценки распределения статистики (например, среднего, дисперсии) без использования нормальной теории (например, z-статистики, t-статистики). Bootstrap пригодится, когда нет аналитической формы или нормальной теории, чтобы помочь оценить распределение интересующей статистики, поскольку методы начальной загрузки могут применяться к большинству случайных величин, например, к соотношению дисперсии и среднего. Есть как минимум два способа выполнить повторную выборку регистра.

1. Алгоритм Монте-Карло для повторной выборки регистра довольно прост. Сначала мы передискретизируем данные с заменой, и размер повторной выборки должен быть равен размеру исходного набора данных. Затем интересующая статистика вычисляется на основе повторной выборки с первого шага. Мы повторяем эту процедуру много раз, чтобы получить более точную оценку распределения статистики Bootstrap.
2. «Точная» версия для повторной выборки случая аналогична, но мы исчерпывающе перечисляем все возможные повторные выборки набора данных. Это может быть дорогостоящим с точки зрения вычислений, поскольку существует множество различных повторных выборок, где n - размер набора данных. Таким образом, для n  = 5, 10, 20, 30 имеется 126, 92378, 6,89 × 10 ¹⁰ и 5,91 × 10 ¹⁶ различных повторных выборок соответственно. ^[22]${\ displaystyle {\ binom {2n-1} {n}} = {\ frac {(2n-1)!} {n! (n-1)!}}}$

Оценка распределения выборочного среднего [ править ]

Рассмотрим эксперимент с подбрасыванием монеты. Мы подбрасываем монету и фиксируем выпадение орла или решки. Пусть X = x ₁ , x ₂ ,…, x ₁₀ будут 10 наблюдениями из эксперимента. x _i = 1, если при i-м подбрасывании выпадает орел, и 0 в противном случае. Исходя из нормальной теории, мы можем использовать t-статистику для оценки распределения выборочного среднего,

${\ displaystyle {\ bar {x}} = {\ frac {1} {10}} (x_ {1} + x_ {2} + \ cdots + x_ {10}).}$

Вместо этого мы используем бутстрап, в частности повторную выборку регистра, чтобы получить распределение . Сначала мы передискретизируем данные, чтобы получить повторную выборку начальной загрузки . Пример первого пересчета может выглядеть так: X ₁ * = x ₂ , x ₁ , x ₁₀ , x ₁₀ , x ₃ , x ₄ , x ₆ , x ₇ , x ₁ , x _9.${\ displaystyle {\ bar {x}}}$. Есть некоторые дубликаты, поскольку повторная выборка начальной загрузки происходит из выборки с заменой из данных. Также количество точек данных в повторной выборке начальной загрузки равно количеству точек данных в наших исходных наблюдениях. Затем мы вычисляем среднее значение этой повторной выборки и получаем первое среднее значение начальной загрузки : μ ₁ *. Мы повторяем этот процесс, чтобы получить вторую повторную выборку X ₂ * и вычислить среднее значение второй начальной загрузки μ ₂ *. Если повторить это 100 раз, то получим μ ₁ *, μ ₂ *, ..., μ ₁₀₀ *. Это представляет собой эмпирическое распределение начальной загрузкивыборочного среднего. Из этого эмпирического распределения можно получить доверительный интервал начальной загрузки для проверки гипотез.

Регресс [ править ]

В задачах регрессии повторная выборка наблюдений относится к простой схеме повторной выборки отдельных наблюдений - часто строк набора данных . Эта простая схема часто бывает приемлемой для задач регрессии, если набор данных достаточно велик. Однако этот метод открыт для критики ^{[ цитата ]} .

В задачах регрессии объясняющие переменные часто фиксированы или, по крайней мере, наблюдаются с большим контролем, чем переменная ответа. Кроме того, диапазон объясняющих переменных определяет доступную из них информацию. Следовательно, повторная выборка случаев означает, что каждая выборка начальной загрузки будет терять некоторую информацию. Таким образом, следует рассмотреть альтернативные процедуры начальной загрузки.

Байесовский бутстрап [ править ]

Начальную загрузку можно интерпретировать в байесовской структуре с использованием схемы, которая создает новые наборы данных путем повторного взвешивания исходных данных. Для данного набора точек данных весовой коэффициент, присвоенный точке данных в новом наборе данных, равен , где - это упорядоченный по убыванию список равномерно распределенных случайных чисел на , которому предшествует 0 и после него идет 1. Распределения параметра выведенные из рассмотрения многих таких наборов данных , затем интерпретируются как апостериорные распределения по этому параметру. ^[23]${\ displaystyle N}$${\ displaystyle i}$${\ Displaystyle {\ mathcal {D}} ^ {J}}$${\ displaystyle w_ {i} ^ {J} = x_ {i} ^ {J} -x_ {i-1} ^ {J}}$${\ displaystyle \ mathbf {x} ^ {J}}$${\ displaystyle N-1}$${\ displaystyle [0,1]}$${\ Displaystyle {\ mathcal {D}} ^ {J}}$

Гладкий бутстрап [ править ]

Согласно этой схеме, небольшое количество (обычно нормально распределенного) случайного шума с нулевым центром добавляется к каждому повторному наблюдению. Это эквивалентно выборке из оценки плотности данных ядра . Предположим, что K - симметричная функция плотности ядра с единичной дисперсией. Стандартная оценка ядра из IS${\ Displaystyle {\ шляпа {е \,}} _ {ч} (х)}$${\ displaystyle f (x)}$

${\ displaystyle {\ hat {f \,}} _ {h} (x) = {1 \ over nh} \ sum _ {i = 1} ^ {n} K \ left ({x-X_ {i} \ над h} \ right),}$ ^[24]

где - параметр сглаживания. И соответствующая оценка функции распределения есть${\ displaystyle h}$${\ displaystyle {\ hat {F \,}} _ {h} (x)}$

${\displaystyle {\hat {F\,}}_{h}(x)=\int _{-\infty }^{x}{\hat {f}}_{h}(t)\,dt.}$ ^[24]

Параметрический бутстрап [ править ]

Исходя из предположения, что исходный набор данных является реализацией случайной выборки из распределения определенного параметрического типа, в этом случае параметрическая модель аппроксимируется параметром θ, часто по максимальному правдоподобию , и выборки случайных чисел берутся из эта подогнанная модель. Обычно выбранная выборка имеет тот же размер выборки, что и исходные данные. Тогда оценку исходной функции F можно записать как . Этот процесс выборки повторяется много раз, как и для других методов начальной загрузки. В этом случае с учетом среднего значения центрированной выборки исходная функция распределения случайной выборки заменяется бутстраповой случайной выборкой с функцией , а распределение вероятностей${\displaystyle {\hat {F}}=F_{\hat {\theta }}}$${\displaystyle F_{\theta }}$${\displaystyle F_{\hat {\theta }}}$${\displaystyle {\bar {X_{n}}}-\mu _{\theta }}$аппроксимируется у , где , который ожидание , соответствующий . ^[25] Использование параметрической модели на этапе выборки методологии бутстрапа приводит к процедурам, которые отличаются от процедур, полученных путем применения базовой статистической теории для вывода для той же модели.${\displaystyle {\bar {X}}_{n}^{*}-\mu ^{*}}$${\displaystyle \mu ^{*}=\mu _{\hat {\theta }}}$${\displaystyle F_{\hat {\theta }}}$

Остатки передискретизации [ править ]

Другой подход к начальной загрузке в задачах регрессии - повторная выборка остатков . Метод работает следующим образом.

1. Установите модель и сохраните подогнанные значения и остатки .${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle {\widehat {\varepsilon \,}}_{i}=y_{i}-{\widehat {y\,}}_{i},(i=1,\dots ,n)}$
2. Для каждой пары ( x _i , y _i ), в которой x _i - (возможно, многомерная) объясняющая переменная, добавьте случайно выбранный остаток,, к подобранному значению . Другими словами, создайте синтетические переменные ответа, где j выбирается случайным образом из списка (1, ..., n ) для каждого i .${\displaystyle {\widehat {\varepsilon \,}}_{j}}$${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{j}}$
3. Обновите модель, используя фиктивные переменные отклика , и сохраните интересующие величины (часто параметры , оцененные из синтетических ).${\displaystyle y_{i}^{*}}$${\displaystyle {\widehat {\mu }}_{i}^{*}}$${\displaystyle y_{i}^{*}}$
4. Повторите шаги 2 и 3 большое количество раз.

Эта схема имеет то преимущество, что сохраняет информацию в независимых переменных. Однако возникает вопрос, какие остатки следует передискретизировать. Необработанные остатки - один из вариантов; другой - студентизированные остатки (в линейной регрессии). Хотя есть аргументы в пользу использования стьюдентизированных остатков; на практике это часто не имеет большого значения, и результаты обеих схем легко сравнить.

Начальный этап регрессии гауссовского процесса [ править ]

Когда данные коррелированы во времени, прямая самонастройка разрушает внутренние корреляции. В этом методе используется регрессия гауссовского процесса (GPR) для соответствия вероятностной модели, из которой затем могут быть получены реплики. GPR - это метод байесовской нелинейной регрессии. Гауссовский процесс (GP) - это набор случайных величин, любое конечное число которых имеет совместное гауссовское (нормальное) распределение. GP определяется функцией среднего и функцией ковариации, которые определяют векторы средних значений и матрицы ковариации для каждого конечного набора случайных величин. ^[26]

Модель регрессии:

${\displaystyle y(x)=f(x)+\varepsilon ,\ \ \varepsilon \sim {\mathcal {N}}(0,\sigma ^{2}),}$ ${\displaystyle \varepsilon }$ это шумовой термин.

Приоритет гауссовского процесса:

Для любого конечного набора переменных, x ₁ , ...,  x _n , выходные данные функции совместно распределяются в соответствии с многомерной гауссовой системой со средним значением и ковариационной матрицей.${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle m=[m(x_{1}),\ldots ,m(x_{n})]^{\intercal }}$${\displaystyle (K)_{ij}=k(x_{i},x_{j}).}$

Предположим, тогда ,${\displaystyle f(x)\sim {\mathcal {GP}}(m,k).}$${\displaystyle y(x)\sim {\mathcal {GP}}(m,l)}$

где , и - стандартная дельта-функция Кронекера. ^[26]${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j})}$${\displaystyle \delta (x_{i},x_{j})}$

Задний гауссовский процесс:

Согласно приору GP, мы можем получить

${\displaystyle [y(x_{1}),\ldots ,y(x_{r})]\sim {\mathcal {N}}(m_{0},K_{0})}$,

где и${\displaystyle m_{0}=[m(x_{1}),\ldots ,m(x_{r})]^{\intercal }}$${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

Пусть x ₁ ^* , ..., x _s ^* - еще один конечный набор переменных, очевидно, что

${\displaystyle [y(x_{1}),\ldots ,y(x_{r}),f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\sim {\mathcal {N}}({\binom {m_{0}}{m_{*}}}{\begin{pmatrix}K_{0}&K_{*}\\K_{*}^{\intercal }&K_{**}\end{pmatrix}})}$,

где , ,${\displaystyle m_{*}=[m(x_{1}^{*}),\ldots ,m(x_{s}^{*})]^{\intercal }}$${\displaystyle (K_{**})_{ij}=k(x_{i}^{*},x_{j}^{*})}$${\displaystyle (K_{*})_{ij}=k(x_{i},x_{j}^{*}).}$

Согласно приведенным выше уравнениям, выходы y также совместно распределяются согласно многомерному гауссову. Таким образом,

${\displaystyle [f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcal {N}}(m_{\text{post}},K_{\text{post}}),}$

где , , , и это единичная матрица. ^[26]${\displaystyle y=[y_{1},...,y_{r}]^{\intercal }}$${\displaystyle m_{\text{post}}=m_{*}+K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}(y-m_{0})}$${\displaystyle K_{\text{post}}=K_{**}-K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}K_{*}}$${\displaystyle I_{r}}$${\displaystyle r\times r}$

Wild bootstrap [ править ]

Дикий бутстрап, первоначально предложенный Wu (1986), ^[27] , подходит, когда модель демонстрирует гетероскедастичность . Идея, как и в случае остаточного бутстрапа, состоит в том, чтобы оставить регрессоры на их выборочном значении, но повторно выполнить выборку переменной ответа на основе значений остатков. То есть для каждой реплики вычисляется новая на основе${\displaystyle y}$

${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{i}v_{i}}$

поэтому остатки случайным образом умножаются на случайную величину со средним 0 и дисперсией 1. Для большинства распределений (но не Маммена) этот метод предполагает, что «истинное» распределение остатков является симметричным и может предложить преимущества по сравнению с простой выборкой остатков для меньшей выборки. размеры. Для случайной величины используются разные формы , например${\displaystyle v_{i}}$${\displaystyle v_{i}}$${\displaystyle v_{i}}$

• Стандартное нормальное распределение

• Распределение, предложенное Мамменом (1993). ^[28]

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2&{\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}}),\\({\sqrt {5}}+1)/2&{\text{with probability }}({\sqrt {5}}-1)/(2{\sqrt {5}})\end{cases}}}$

Примерно распределение Маммен таково:

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}}&{\text{with probability }}0.7236,\\+1.6180\quad {\text{(with a 1 in the units' place)}}&{\text{with probability }}0.2764.\end{cases}}}$

• Или более простой дистрибутив, связанный с распределением Радемахера :

${\displaystyle v_{i}={\begin{cases}-1&{\text{with probability }}1/2,\\+1&{\text{with probability }}1/2.\end{cases}}}$

Блокировать загрузку [ править ]

Блочный бутстрап используется, когда данные или ошибки в модели коррелированы. В этом случае простой случай или остаточная передискретизация не удастся, так как невозможно воспроизвести корреляцию в данных. Блочный бутстрап пытается воспроизвести корреляцию путем повторной выборки внутри блоков данных. Блочный бутстрап использовался в основном с данными, коррелированными во времени (т.е. временными рядами), но также может использоваться с данными, коррелированными в пространстве или между группами (так называемые кластерные данные).

Временной ряд: простой блочный бутстрап [ править ]

В (простом) блочном бутстрапе интересующая переменная разбивается на неперекрывающиеся блоки.

Временной ряд: бутстрап движущегося блока [ править ]

В бутстрапе с движущимся блоком, введенном Кюншем (1989), ^[29] данные разделяются на n  -  b  + 1 перекрывающихся блоков длиной b : наблюдения с 1 по b будут блоком 1, наблюдения с 2 по b  + 1 будут блоком 2. и т. д. Тогда из этих n  -  b  + 1 блоков будет произвольно извлечено n / b блоков с заменой. Затем выравнивание этих n / b блоков в том порядке, в котором они были выбраны, даст результаты начальной загрузки.

Этот бутстрап работает с зависимыми данными, однако самонастраиваемые наблюдения больше не будут стационарными по конструкции. Но было показано, что случайное изменение длины блока может избежать этой проблемы. ^[30] Этот метод известен как стационарный бутстрап. Другими родственными модификациями бутстрапа движущихся блоков являются марковский бутстрап и метод стационарного бутстрапа, который сопоставляет последующие блоки на основе сопоставления стандартного отклонения.

Временной ряд: максимальная энтропия начальной загрузки [ править ]

Винод (2006), ^[31] представляет метод, который загружает данные временных рядов с использованием принципов максимальной энтропии, удовлетворяющих эргодической теореме с ограничениями, сохраняющими среднее и сохраняющими массу. Существует пакет R, meboot , ^[32], который использует этот метод, имеющий приложения в эконометрике и информатике.

Данные кластера: блочная загрузка [ править ]

Кластерные данные описывают данные, в которых наблюдается много наблюдений на единицу. Это может быть наблюдение за многими фирмами во многих штатах или наблюдение за студентами во многих классах. В таких случаях структура корреляции упрощается, и обычно делается предположение, что данные коррелированы внутри группы / кластера, но независимы между группами / кластерами. Структуру блочного бутстрапа легко получить (где блок просто соответствует группе), и обычно передискретизируются только группы, в то время как наблюдения внутри групп остаются неизменными. Cameron et al. (2008) обсуждает это для кластерных ошибок линейной регрессии. ^[33]

Методы повышения вычислительной эффективности [ править ]

Самозагрузка - это мощный метод, хотя может потребовать значительных вычислительных ресурсов как во времени, так и в памяти. Некоторые методы были разработаны для уменьшения этого бремени. Как правило, их можно комбинировать со многими различными типами схем Bootstrap и различными вариантами статистики.

Пуассоновский бутстрап [ править ]

Обычный бутстрап требует случайного выбора n элементов из списка, что эквивалентно извлечению из полиномиального распределения. Это может потребовать большого количества проходов по данным и затруднить параллельное выполнение этих вычислений. Для больших значений n бутстрап Пуассона является эффективным методом создания наборов данных начальной загрузки. ^[34] При генерации одной выборки начальной загрузки вместо случайного извлечения из выборки данных с заменой каждой точке данных назначается случайный вес, распределенный в соответствии с распределением Пуассона с . Для данных большой выборки это будет приблизительная случайная выборка с заменой. Это связано со следующим приближением:${\displaystyle \lambda =1}$

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

Этот метод также хорошо подходит для потоковой передачи данных и растущих наборов данных, поскольку нет необходимости знать общее количество выборок перед началом выборки загрузочных выборок.

Сумка с маленькими ботинками [ править ]

Для массивных наборов данных часто бывает сложно с вычислительной точки зрения хранить все данные выборки в памяти и выполнять повторную выборку из данных выборки. Пакет Little Bootstraps (BLB) ^[35] предоставляет метод предварительной агрегации данных перед начальной загрузкой для уменьшения вычислительных ограничений. Это работает путем разделения набора данных на сегменты равного размера и агрегирования данных в каждом сегменте. Этот предварительно агрегированный набор данных становится новым образцом данных, на основе которого будут взяты образцы с заменой. Этот метод похож на Block Bootstrap, но мотивация и определения блоков очень разные. При определенных предположениях выборочное распределение должно приближаться к сценарию полной начальной загрузки. Одно ограничение - это количество корзин, в которых${\displaystyle b}$${\displaystyle b=n^{\gamma }}$${\displaystyle \gamma \in [0.5,1]}$и авторы рекомендуют использовать в качестве общего решения.${\displaystyle b=n^{0.7}}$

Выбор статистики [ править ]

Распределение начальной загрузки точечной оценки параметра совокупности использовалось для создания настраиваемого доверительного интервала для истинного значения параметра, если параметр можно записать как функцию распределения совокупности .

Параметры популяции оцениваются с помощью многих точечных оценщиков . Популярные семейства точечных оценок включают средние-несмещенные минимальную дисперсию оценки , срединные-несмещенные оценки , байесовские оценки (например, в заднем дистрибутиве «сек режима , средний , средний ) и максимальное правдоподобие .

Согласно асимптотической теории, байесовская точечная оценка и оценка максимального правдоподобия имеют хорошую производительность, когда размер выборки бесконечен . Для практических задач с конечными выборками могут быть предпочтительны другие оценки. Асимптотическая теория предлагает методы, которые часто улучшают производительность бутстрэп-оценок; самонастройку оценщика максимального правдоподобия часто можно улучшить с помощью преобразований, связанных с ключевыми величинами . ^[36]

Получение доверительных интервалов из начального распределения [ править ]

Распределение начальной загрузки оценщика параметра использовалось для вычисления доверительных интервалов для его параметра совокупности. ^{[ необходима цитата ]}

Смещение, асимметрия и доверительные интервалы [ править ]

• Смещение : распределение начальной загрузки и выборка могут систематически не совпадать, и в этом случае может возникнуть смещение .

  Если бутстраповское распределение оценки симметрично, часто используется процентильный доверительный интервал; такие интервалы особенно подходят для несмещенных по медиане оценок минимального риска (относительно функции абсолютных потерь ). Смещение в загрузочном распределении приведет к смещению доверительного интервала.

  В противном случае, если распределение начальной загрузки несимметрично, процентильные доверительные интервалы часто неуместны.

Методы для доверительных интервалов начальной загрузки [ править ]

Существует несколько методов построения доверительных интервалов из начального распределения реального параметра:

• Базовая самозагрузки , ^[36] , также известный как интервал обратного Percentile . ^[37] Базовый бутстрап - это простая схема построения доверительного интервала: просто берутся эмпирические квантили из бутстраповского распределения параметра (см. Дэвисон и Хинкли 1997, экв. 5.6, стр. 194):

${\displaystyle (2{\widehat {\theta \,}}-\theta _{(1-\alpha /2)}^{*},2{\widehat {\theta \,}}-\theta _{(\alpha /2)}^{*})}$где обозначает процентиль коэффициентов начальной загрузки .${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

• Процентильный бутстрап . Процентильный бутстрап работает аналогично базовому бутстрапу, используя процентили распределения бутстрапа, но с другой формулой (обратите внимание на инверсию левого и правого квантилей!):

${\displaystyle (\theta _{(\alpha /2)}^{*},\theta _{(1-\alpha /2)}^{*})}$где обозначает процентиль коэффициентов начальной загрузки .${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

См. Дэвисон и Хинкли (1997, экв. 5.18, стр. 203) и Эфрон и Тибширани (1993, экв. 13,5, стр. 171).

Этот метод можно применить к любой статистике. Он будет хорошо работать в тех случаях, когда распределение бутстрапа симметрично и сосредоточено на наблюдаемой статистике ^[38], а статистика выборки несмещена по медиане и имеет максимальную концентрацию (или минимальный риск по отношению к функции потерь абсолютного значения). При работе с небольшими размерами выборки (т. Е. Менее 50) базовый / обратный процентиль и доверительные интервалы процентиля для (например) статистики дисперсии будут слишком узкими. Таким образом, при выборке из 20 точек 90% доверительный интервал будет включать истинную дисперсию только в 78% случаев. ^[39] Доверительные интервалы базового / обратного процентиля легче обосновать математически ^{[40] [37]}но в целом они менее точны, чем процентильные доверительные интервалы, и некоторые авторы не рекомендуют их использовать. ^[37]

• Студентизированный бутстрап . Студентизированный бутстрап, также называемый бутстрап-t , вычисляется аналогично стандартному доверительному интервалу, но заменяет квантили из нормального приближения или приближения Стьюдента квантилями из бутстраповского распределения t-критерия Стьюдента (см. Davison and Hinkley 1997, equ . 5.7 с. 194 и Эфрон и Тибширани 1993 равно 12.22, с. 160):

${\displaystyle (\theta -t_{(1-\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta },\theta -t_{(\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta })}$где обозначает процентиль загруженного t-критерия Стьюдента , а - оцененная стандартная ошибка коэффициента в исходной модели.${\displaystyle t_{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle t^{*}=({\widehat {\theta \,}}^{*}-{\widehat {\theta \,}})/{\widehat {\text{se}}}_{{\widehat {\theta \,}}^{*}}}$${\displaystyle {\widehat {\text{se}}}_{\theta }}$

Студентизированный тест обладает оптимальными свойствами, поскольку статистика, которая загружается при начальной загрузке, является ключевой (т. Е. Она не зависит от мешающих параметров, поскольку t-тест асимптотически следует распределению N (0,1)), в отличие от процентильной начальной загрузки.

• Бутстрап с коррекцией смещения - корректирует смещение в дистрибутиве начальной загрузки.
• Ускоренный бутстрап - бутстрап с поправкой на смещение и ускоренный (BCa) бутстрап, разработанный Эфроном (1987), ^[14], корректирует как смещение, так и асимметрию в распределении бутстрапа. Этот подход точен в самых разных условиях, требует разумных вычислений и дает достаточно узкие интервалы. ^{[ необходима цитата ]}

Проверка гипотез начальной загрузки [ править ]

Эфрон и Тибширани ^[1] предлагают следующий алгоритм для сравнения средних значений двух независимых выборок: Пусть будет случайная выборка из распределения F с выборочным средним и выборочной дисперсией . Пусть будет другая, независимая случайная выборка из распределения G со средним значением и дисперсией${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle {\bar {x}}}$${\displaystyle \sigma _{x}^{2}}$${\displaystyle y_{1},\ldots ,y_{m}}$${\displaystyle {\bar {y}}}$${\displaystyle \sigma _{y}^{2}}$

1. Рассчитайте тестовую статистику ${\displaystyle t={\frac {{\bar {x}}-{\bar {y}}}{\sqrt {\sigma _{x}^{2}/n+\sigma _{y}^{2}/m}}}}$
2. Создайте два новых набора данных, значения которых равны, а где - среднее значение объединенной выборки.${\displaystyle x_{i}^{'}=x_{i}-{\bar {x}}+{\bar {z}}}$${\displaystyle y_{i}^{'}=y_{i}-{\bar {y}}+{\bar {z}},}$${\displaystyle {\bar {z}}}$
3. Нарисуйте случайную выборку ( ) размера с заменой из и другую случайную выборку ( ) размера с заменой из .${\displaystyle x_{i}^{*}}$${\displaystyle n}$${\displaystyle x_{i}^{'}}$${\displaystyle y_{i}^{*}}$${\displaystyle m}$${\displaystyle y_{i}^{'}}$
4. Рассчитайте тестовую статистику ${\displaystyle t^{*}={\frac {{\bar {x^{*}}}-{\bar {y^{*}}}}{\sqrt {\sigma _{x}^{*2}/n+\sigma _{y}^{*2}/m}}}}$
5. Повторите 3 и 4 раза (например ), чтобы собрать значения тестовой статистики.${\displaystyle B}$${\displaystyle B=1000}$${\displaystyle B}$
6. Оцените p-значение, как где, когда условие истинно, и 0 в противном случае.${\displaystyle p={\frac {\sum _{i=1}^{B}I\{t_{i}^{*}\geq t\}}{B}}}$${\displaystyle I({\text{condition}})=1}$

Примеры приложений [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Сглаженный бутстрап [ править ]

В 1878 году Саймон Ньюкомб провел наблюдения за скоростью света . ^[41] Набор данных содержит два выброса , которые сильно влияют на выборочное среднее . (Среднее значение выборки не обязательно должно быть последовательной оценкой для любого среднего значения генеральной совокупности , потому что для распределения с тяжелыми хвостами нет необходимости в среднем значении .) Четко определенной и надежной статистикой для центральной тенденции является медиана выборки, которая является последовательной и несмещенной по медиане. для медианы населения.

Распределение начальной загрузки для данных Ньюкомба показано ниже. Метод свертки регуляризации уменьшает дискретность распределения бутстрапа путем добавления небольшого количества случайного шума N (0, σ ² ) к каждой выборке бутстрапа. Стандартный выбор - размер выборки n . ^{[ необходима цитата ]}${\displaystyle \sigma =1/{\sqrt {n}}}$

Гистограммы распределения начальной загрузки и распределения плавной начальной загрузки показаны ниже. Распределение начальной загрузки медианы выборки имеет лишь небольшое количество значений. Сглаженный бутстрап-дистрибутив имеет более широкую поддержку .

В этом примере загрузочный 95% (процентиль) доверительный интервал для медианы совокупности равен (26, 28,5), что близко к интервалу для (25,98, 28,46) для сглаженного бутстрапа.

Отношение к другим подходам к выводу [ править ]

Связь с другими методами передискретизации [ править ]

Бутстрап отличается от:

• складной нож процедура, используется для оценки уклонов выборочных статистических данных и оценка дисперсии и
• перекрестная проверка , при которой параметры (например, веса регрессии, факторные нагрузки), которые оцениваются в одной подвыборке, применяются к другой подвыборке.

Подробнее см. Передискретизация начальной загрузки .

Агрегирование бутстрапа (пакетирование) - это мета-алгоритм, основанный на усреднении результатов нескольких образцов начальной загрузки.

U-статистика [ править ]

В ситуациях, когда очевидная статистика может быть разработана для измерения требуемой характеристики с использованием только небольшого числа r элементов данных, может быть сформулирована соответствующая статистика, основанная на всей выборке. Учитывая статистику r -выборки, можно создать статистику n -выборки чем-то похожим на бутстрэппинг (взяв среднее значение статистики по всем подвыборкам размера r ). Известно, что эта процедура обладает некоторыми хорошими свойствами, и результатом является U-статистика . Выборочная средняя и выборочная дисперсия в этой форме, г  = 1 и г  = 2.

См. Также [ править ]

• Тщательность и точность
• Агрегирование бутстрапа
• Начальная загрузка
• Эмпирическая вероятность
• Вменение (статистика)
• Надежность (статистика)
• Воспроизводимость
• Повторная выборка

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Diaconis, P .; Ефрон, Б. (май 1983 г.). «Компьютерные методы в статистике» (PDF) . Scientific American . 248 (5): 116–130. DOI : 10.1038 / Scientificamerican0583-116 . научно-популярный
• Ефрон, Б. (1981). «Непараметрические оценки стандартной ошибки: складной нож, бутстрап и другие методы». Биометрика . 68 (3): 589–599. DOI : 10.1093 / Biomet / 68.3.589 .
• Hesterberg, TC; Д. С. Мур ; С. Монаган; А. Клипсон и Р. Эпштейн (2005). «Методы начальной загрузки и тесты перестановок» (PDF) . В Дэвид С. Мур и Джордж МакКейб (ред.). Введение в статистическую практику . программное обеспечение . Архивировано из оригинального (PDF) 15 февраля 2006 года . Проверено 23 марта 2007 .

Внешние ссылки [ править ]

• Учебник по выборке бутстрапа с использованием MS Excel
• Пример начальной загрузки для моделирования курсов акций с помощью MS Excel
• руководство по начальной загрузке
• пакетная анимация
• Что такое бутстрап?

Программное обеспечение [ править ]

• Статистика101: Передискретизация, Bootstrap, программа моделирования Монте-Карло. Бесплатная программа, написанная на Java, для работы в любой операционной системе.