Самостоятельная загрузка (статистика)

Бутстрапирование - это любой тест или показатель, использующий случайную выборку с заменой и подпадающий под более широкий класс методов повторной выборки . Начальная загрузка назначает меры точности (смещение, дисперсия, доверительные интервалы , ошибка прогноза и т. Д.) Для выборочных оценок. ^{[1] [2]} Этот метод позволяет оценить распределение выборки практически любой статистики с использованием методов случайной выборки. ^{[3] [4]}

При загрузке оцениваются свойства оценщика (например, его дисперсия ) путем измерения этих свойств при выборке из аппроксимирующего распределения. Одним из стандартных вариантов аппроксимирующего распределения является эмпирическая функция распределения наблюдаемых данных. В случае, когда можно предположить, что набор наблюдений поступает от независимой и одинаково распределенной совокупности, это может быть реализовано путем построения ряда повторных выборок с заменой наблюдаемого набора данных (и равного размера наблюдаемому набору данных) .

Его также можно использовать для построения тестов гипотез . Он часто используется в качестве альтернативы статистическому выводу, основанному на предположении о параметрической модели, когда это предположение вызывает сомнения, или когда параметрический вывод невозможен или требует сложных формул для вычисления стандартных ошибок .

История [ править ]

Бутстрап был опубликован Брэдли Эфроном в статье «Методы начальной загрузки: новый взгляд на складной нож» (1979), ^{[5] [6] [7],} вдохновленный более ранней работой с складным ножом . ^{[8] [9] [10]} Улучшенные оценки дисперсии были разработаны позже. ^{[11] [12]} Байесовское расширение было разработано в 1981 г. ^[13] Бутстрап с коррекцией смещения и ускорением (BCa) был разработан Эфроном в 1987 г. ^[14], а процедура ABC - в 1992 г. ^[15]

Подход [ править ]

Основная идея начальной загрузки заключается в том, что вывод о генеральной совокупности на основе данных выборки (выборка → совокупность) может быть смоделирован путем повторной выборки данных выборки и выполнения вывода о выборке из данных повторной выборки (повторная выборка → выборка). Поскольку генеральная совокупность неизвестна, истинная ошибка в статистике выборки относительно ее значения совокупности неизвестна. В бутстрап-повторной выборке «совокупность» фактически является выборкой, и это известно; следовательно, качество вывода «истинной» выборки из данных повторной выборки (повторная выборка → выборка) поддается измерению.

Более формально, начальной загрузки работ обработки умозаключение истинного распределения вероятностей J , учитывая исходные данные, как аналог логического вывода эмпирического распределения Ĵ , учитывая данные передискретизируется. Точность выводов относительно Ĵ с использованием данных передискретизируется можно оценить , потому что мы знаем Ĵ . Если Ĵ является разумным приближением к J , то, в свою очередь, можно сделать вывод о качестве вывода о J.

В качестве примера предположим, что нас интересует средний (или средний ) рост людей во всем мире. Мы не можем измерить всех людей в глобальной популяции, поэтому вместо этого мы отбираем лишь крошечную ее часть и измеряем ее. Предположим, что размер образца равен N ; то есть мы измеряем рост N человек. Из этой единственной выборки можно получить только одну оценку среднего. Чтобы рассуждать о совокупности, нам нужно некоторое представление об изменчивости среднего, которое мы вычислили. Простейший метод начальной загрузки включает взятие исходного набора данных о высотах и, с помощью компьютера, выборку из него для формирования новой выборки (называемой `` повторной выборкой '' или выборкой начальной загрузки), которая также имеет размер  N.. Образец начальной загрузки берется из оригинала с помощью выборки с заменой (например, мы могли бы «передискретизировать» 5 раз из [1,2,3,4,5] и получить [2,5,4,4,1]), поэтому , полагая Nдостаточно велик, для всех практических целей вероятность того, что он будет идентичным исходному «реальному» образцу, практически равна нулю. Этот процесс повторяется большое количество раз (обычно 1000 или 10 000 раз), и для каждой из этих выборок начальной загрузки мы вычисляем ее среднее значение (каждая из них называется оценками начальной загрузки). Теперь мы можем создать гистограмму средств начальной загрузки. Эта гистограмма дает оценку формы распределения выборочного среднего, исходя из которой мы можем ответить на вопросы о том, насколько среднее значение варьируется в разных выборках. (Метод, описанный здесь для среднего, может быть применен практически к любой другой статистике или оценке .)

Обсуждение [ править ]

Этот раздел включает список ссылок , связанных материалов для чтения или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Преимущества [ править ]

Большим преимуществом бутстрапа является его простота. Это простой способ получить оценки стандартных ошибок и доверительных интервалов для сложных оценщиков распределения, таких как точки процентиля, пропорции, отношение шансов и коэффициенты корреляции. Bootstrap также является подходящим способом контроля и проверки стабильности результатов. Хотя для большинства задач невозможно узнать истинный доверительный интервал, бутстрап асимптотически более точен, чем стандартные интервалы, полученные с использованием выборочной дисперсии и предположений о нормальности. ^[16] Самостоятельная загрузка также является удобным методом, позволяющим избежать затрат на повторение эксперимента для получения других групп образцов данных.

Недостатки [ править ]

Хотя бутстрэппинг (при некоторых условиях) асимптотически согласован , он не обеспечивает общих гарантий конечной выборки. Результат может зависеть от репрезентативной выборки. Кажущаяся простота может скрывать тот факт, что при проведении бутстрап-анализа делаются важные предположения (например, независимость выборок), тогда как они были бы более формально сформулированы в других подходах. Кроме того, начальная загрузка может занять много времени.

Рекомендации [ править ]

Количество рекомендуемых в литературе образцов начальной загрузки увеличилось по мере увеличения доступной вычислительной мощности. Если результаты могут иметь существенные последствия в реальном мире, то следует использовать столько образцов, сколько разумно, с учетом доступной вычислительной мощности и времени. Увеличение количества выборок не может увеличить количество информации в исходных данных; он может только уменьшить влияние случайных ошибок выборки, которые могут возникнуть в результате самой процедуры начальной загрузки. Более того, есть свидетельства того, что количество выборок, превышающее 100, приводит к незначительным улучшениям в оценке стандартных ошибок. ^[17] Фактически, согласно первоначальному разработчику метода начальной загрузки, даже установка количества выборок на 50, вероятно, приведет к довольно хорошим оценкам стандартной ошибки. ^[18]

Adèr et al. рекомендуют процедуру начальной загрузки для следующих ситуаций: ^[19]

• Когда теоретическое распределение интересующей статистики сложно или неизвестно. Поскольку процедура начальной загрузки не зависит от распределения, она предоставляет косвенный метод для оценки свойств распределения, лежащего в основе выборки, и интересующих параметров, полученных из этого распределения.

• Когда размер выборки недостаточен для прямого статистического вывода. Если основное распределение хорошо известно, бутстрэппинг позволяет учесть искажения, вызванные конкретной выборкой, которая может не быть полностью репрезентативной для генеральной совокупности.

• Когда необходимо выполнить расчеты мощности и имеется небольшая пилотная выборка. Большинство вычислений мощности и размера выборки сильно зависят от стандартного отклонения интересующей статистики. Если использованная оценка неверна, требуемый размер выборки также будет неверным. Один из способов получить представление об изменении статистики - это использовать небольшую пилотную выборку и выполнить для нее бутстрэппинг, чтобы получить представление об изменении.

Однако Athreya показал ^[20], что если выполнить наивный бутстрап для выборочного среднего, когда базовая совокупность не имеет конечной дисперсии (например, распределения по степенному закону ), то бутстраповское распределение не будет сходиться к тому же пределу, что и выборочное среднее. В результате доверительные интервалы на основе моделирования бутстрапа методом Монте-Карло могут вводить в заблуждение. Атрея заявляет, что «если кто-то не уверен в том, что основной дистрибутив не имеет тяжелых хвостов , следует отказаться от использования наивного бутстрапа».

Типы схем начальной загрузки [ править ]

Этот раздел включает список ссылок , связанных материалов для чтения или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В одномерных задачах обычно допустимо повторная выборка отдельных наблюдений с заменой («повторная выборка случая» ниже) в отличие от субвыборки , в которой повторная выборка выполняется без замены и действительна в гораздо более слабых условиях по сравнению с бутстрапом. В небольших выборках может быть предпочтительнее параметрический подход начальной загрузки. Для других проблем, вероятно, будет предпочтительнее плавная загрузка .

Для задач регрессии доступны различные другие альтернативы. ^[21]

Повторная выборка случая [ править ]

Bootstrap обычно полезен для оценки распределения статистики (например, среднего, дисперсии) без использования нормальной теории (например, z-статистики, t-статистики). Bootstrap пригодится, когда нет аналитической формы или нормальной теории, чтобы помочь оценить распределение интересующей статистики, поскольку методы начальной загрузки могут применяться к большинству случайных величин, например к соотношению дисперсии и среднего. Есть как минимум два способа выполнить повторную выборку регистра.

1. Алгоритм Монте-Карло для повторной выборки случая довольно прост. Сначала мы передискретизируем данные с заменой, и размер повторной выборки должен быть равен размеру исходного набора данных. Затем интересующая статистика вычисляется на основе повторной выборки с первого шага. Мы повторяем эту процедуру много раз, чтобы получить более точную оценку распределения статистики Bootstrap.
2. «Точная» версия для повторной выборки случая аналогична, но мы исчерпывающе перечисляем все возможные повторные выборки набора данных. Это может быть дорогостоящим с точки зрения вычислений, поскольку существует множество различных повторных выборок, где n - размер набора данных. Таким образом, для n  = 5, 10, 20, 30 имеется 126, 92378, 6,89 × 10 ¹⁰ и 5,91 × 10 ¹⁶ различных повторных выборок соответственно. ^[22]${\ displaystyle {\ binom {2n-1} {n}} = {\ frac {(2n-1)!} {n! (n-1)!}}}$

Оценка распределения выборочного среднего [ править ]

Рассмотрим эксперимент с подбрасыванием монеты. Мы подбрасываем монету и фиксируем выпадение орла или решки. Пусть X = x ₁ , x ₂ ,…, x ₁₀ будут 10 наблюдениями из эксперимента. x _i = 1, если i-й бросок выпадает орлом, и 0 в противном случае. Из нормальной теории мы можем использовать t-статистику для оценки распределения выборочного среднего,

${\displaystyle {\bar {x}}={\frac {1}{10}}(x_{1}+x_{2}+\cdots +x_{10}).}$

Вместо этого мы используем бутстрап, в частности повторную выборку регистра, чтобы получить распределение . Сначала мы передискретизируем данные, чтобы получить повторную выборку начальной загрузки . Пример первого пересэмплирования может выглядеть так: X ₁ * = x ₂ , x ₁ , x ₁₀ , x ₁₀ , x ₃ , x ₄ , x ₆ , x ₇ , x ₁ , x _9.${\displaystyle {\bar {x}}}$. Есть некоторые дубликаты, поскольку повторная выборка начальной загрузки происходит из выборки с заменой из данных. Кроме того, количество точек данных в повторной выборке начальной загрузки равно количеству точек данных в наших исходных наблюдениях. Затем мы вычисляем среднее значение этой повторной выборки и получаем первое среднее значение начальной загрузки : μ ₁ *. Мы повторяем этот процесс, чтобы получить вторую повторную выборку X ₂ * и вычислить среднее значение второй начальной загрузки μ ₂ *. Если мы повторим это 100 раз, то мы получим μ ₁ *, μ ₂ *, ..., μ ₁₀₀ *. Это представляет собой эмпирическое распределение начальной загрузкивыборочного среднего. Из этого эмпирического распределения можно получить доверительный интервал начальной загрузки для проверки гипотез.

Регресс [ править ]

В задачах регрессии повторная выборка наблюдений относится к простой схеме повторной выборки отдельных наблюдений - часто строк набора данных . Для задач регрессии, если набор данных достаточно велик, эта простая схема часто приемлема. Тем не менее, этот метод открыт для критики ^{[ ссылка ]} .

В задачах регрессии объясняющие переменные часто фиксированы или, по крайней мере, наблюдаются с большим контролем, чем переменная ответа. Кроме того, диапазон объясняющих переменных определяет доступную из них информацию. Следовательно, повторная выборка случаев означает, что каждая выборка начальной загрузки будет терять некоторую информацию. Таким образом, следует рассмотреть альтернативные процедуры начальной загрузки.

Байесовский бутстрап [ править ]

Начальную загрузку можно интерпретировать в байесовской структуре с использованием схемы, которая создает новые наборы данных путем повторного взвешивания исходных данных. Для данного набора точек данных весовой коэффициент, присвоенный точке данных в новом наборе данных, равен , где - это упорядоченный по убыванию список равномерно распределенных случайных чисел на , которому предшествует 0 и после него идет 1. Распределения параметра выведенные из рассмотрения многих таких наборов данных , затем интерпретируются как апостериорные распределения по этому параметру. ^[23]${\displaystyle N}$${\displaystyle i}$${\displaystyle {\mathcal {D}}^{J}}$${\displaystyle w_{i}^{J}=x_{i}^{J}-x_{i-1}^{J}}$${\displaystyle \mathbf {x} ^{J}}$${\displaystyle N-1}$${\displaystyle [0,1]}$${\displaystyle {\mathcal {D}}^{J}}$

Гладкий бутстрап [ править ]

По этой схеме небольшое количество (обычно нормально распределенного) случайного шума с нулевым центром добавляется к каждому повторному наблюдению. Это эквивалентно выборке из оценки плотности данных ядра . Предположим, что K - симметричная функция плотности ядра с единичной дисперсией. Стандартная оценка ядра из IS${\displaystyle {\hat {f\,}}_{h}(x)}$${\displaystyle f(x)}$

${\displaystyle {\hat {f\,}}_{h}(x)={1 \over nh}\sum _{i=1}^{n}K\left({x-X_{i} \over h}\right),}$ ^[24]

где - параметр сглаживания. И соответствующая оценка функции распределения есть${\displaystyle h}$${\displaystyle {\hat {F\,}}_{h}(x)}$

${\displaystyle {\hat {F\,}}_{h}(x)=\int _{-\infty }^{x}{\hat {f}}_{h}(t)\,dt.}$ ^[24]

Параметрический бутстрап [ править ]

Исходя из предположения, что исходный набор данных является реализацией случайной выборки из распределения определенного параметрического типа, в этом случае параметрическая модель аппроксимируется параметром θ, часто по максимальному правдоподобию , и выборки случайных чисел берутся из этого подобранного модель. Обычно размер выборки такой же, как и у исходных данных. Тогда оценку исходной функции F можно записать как . Этот процесс выборки повторяется много раз, как и для других методов начальной загрузки. В этом случае с учетом среднего значения центрированной выборки исходная функция распределения случайной выборки заменяется бутстраповской случайной выборкой с функцией , а распределение вероятностей аппроксимируется распределением вероятностей${\displaystyle {\hat {F}}=F_{\hat {\theta }}}$${\displaystyle F_{\theta }}$${\displaystyle F_{\hat {\theta }}}$${\displaystyle {\bar {X_{n}}}-\mu _{\theta }}$${\displaystyle {\bar {X}}_{n}^{*}-\mu ^{*}}$, где - математическое ожидание, соответствующее . ^[25] Использование параметрической модели на этапе выборки методологии бутстрапа приводит к процедурам, которые отличаются от процедур, полученных путем применения базовой статистической теории для вывода для той же модели.${\displaystyle \mu ^{*}=\mu _{\hat {\theta }}}$${\displaystyle F_{\hat {\theta }}}$

Остатки передискретизации [ править ]

Другой подход к начальной загрузке в задачах регрессии - повторная выборка остатков . Метод работает следующим образом.

1. Подгоните модель и сохраните подогнанные значения и остатки .${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle {\widehat {\varepsilon \,}}_{i}=y_{i}-{\widehat {y\,}}_{i},(i=1,\dots ,n)}$
2. Для каждой пары ( x _i , y _i ), в которой x _i является (возможно, многомерной) объясняющей переменной, добавьте случайно выбранный остаток , к подобранному значению . Другими словами, создайте синтетические переменные ответа, где j выбирается случайным образом из списка (1, ..., n ) для каждого i .${\displaystyle {\widehat {\varepsilon \,}}_{j}}$${\displaystyle {\widehat {y\,}}_{i}}$${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{j}}$
3. Обновите модель, используя фиктивные переменные отклика , и сохраните интересующие величины (часто параметры , оцененные из синтетических ).${\displaystyle y_{i}^{*}}$${\displaystyle {\widehat {\mu }}_{i}^{*}}$${\displaystyle y_{i}^{*}}$
4. Повторите шаги 2 и 3 большое количество раз.

Эта схема имеет то преимущество, что она сохраняет информацию в независимых переменных. Однако возникает вопрос, какие остатки следует передискретизировать. Необработанные остатки - один из вариантов; другой - студентизированные остатки (в линейной регрессии). Хотя есть аргументы в пользу использования стьюдентизированных остатков; на практике это часто не имеет большого значения, и результаты обеих схем легко сравнить.

Бутстрап регрессии гауссовского процесса [ править ]

Когда данные коррелированы по времени, прямая самонастройка разрушает внутренние корреляции. В этом методе используется регрессия гауссовского процесса (GPR), чтобы соответствовать вероятностной модели, из которой затем могут быть получены реплики. GPR - это метод байесовской нелинейной регрессии. Гауссовский процесс (GP) - это набор случайных величин, любое конечное число которых имеет совместное гауссовское (нормальное) распределение. GP определяется функцией среднего и функцией ковариации, которые задают векторы средних значений и матрицы ковариации для каждого конечного набора случайных величин. ^[26]

Модель регрессии:

${\displaystyle y(x)=f(x)+\varepsilon ,\ \ \varepsilon \sim {\mathcal {N}}(0,\sigma ^{2}),}$ ${\displaystyle \varepsilon }$ это шумовой термин.

Гауссовский процесс до:

Для любого конечного набора переменных, x ₁ , ...,  x _n , выходные данные функции совместно распределяются в соответствии с многомерной гауссовой системой со средним значением и ковариационной матрицей.${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle m=[m(x_{1}),\ldots ,m(x_{n})]^{\intercal }}$${\displaystyle (K)_{ij}=k(x_{i},x_{j}).}$

Пусть Тогда , ${\displaystyle f(x)\sim {\mathcal {GP}}(m,k).}$${\displaystyle y(x)\sim {\mathcal {GP}}(m,l)}$

где , и - стандартная дельта-функция Кронекера. ^[26]${\displaystyle l(x_{i},x_{j})=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j})}$${\displaystyle \delta (x_{i},x_{j})}$

Задний гауссовский процесс:

Согласно приору GP, мы можем получить

${\displaystyle [y(x_{1}),\ldots ,y(x_{r})]\sim {\mathcal {N}}(m_{0},K_{0})}$,

где и${\displaystyle m_{0}=[m(x_{1}),\ldots ,m(x_{r})]^{\intercal }}$${\displaystyle (K_{0})_{ij}=k(x_{i},x_{j})+\sigma ^{2}\delta (x_{i},x_{j}).}$

Пусть x ₁ ^* , ..., x _s ^* - еще один конечный набор переменных, очевидно, что

${\displaystyle [y(x_{1}),\ldots ,y(x_{r}),f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\sim {\mathcal {N}}({\binom {m_{0}}{m_{*}}}{\begin{pmatrix}K_{0}&K_{*}\\K_{*}^{\intercal }&K_{**}\end{pmatrix}})}$,

где , ,${\displaystyle m_{*}=[m(x_{1}^{*}),\ldots ,m(x_{s}^{*})]^{\intercal }}$${\displaystyle (K_{**})_{ij}=k(x_{i}^{*},x_{j}^{*})}$${\displaystyle (K_{*})_{ij}=k(x_{i},x_{j}^{*}).}$

Согласно вышеприведенным уравнениям, выходы y также совместно распределяются согласно многомерному гауссову. Таким образом,

${\displaystyle [f(x_{1}^{*}),\ldots ,f(x_{s}^{*})]^{\intercal }\mid ([y(x)]^{\intercal }=y)\sim {\mathcal {N}}(m_{\text{post}},K_{\text{post}}),}$

где , , , и это единичная матрица. ^[26]${\displaystyle y=[y_{1},...,y_{r}]^{\intercal }}$${\displaystyle m_{\text{post}}=m_{*}+K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}(y-m_{0})}$${\displaystyle K_{\text{post}}=K_{**}-K_{*}^{\intercal }(K_{O}+\sigma ^{2}I_{r})^{-1}K_{*}}$${\displaystyle I_{r}}$${\displaystyle r\times r}$

Дикий бутстрап [ править ]

Дикий бутстрап, первоначально предложенный Wu (1986), ^[27] , подходит, когда модель демонстрирует гетероскедастичность . Идея, как и в случае остаточного бутстрапа, заключается в том, чтобы оставить регрессоры на уровне их выборочного значения, но повторно выполнить выборку переменной ответа на основе значений остаточных погрешностей. То есть для каждой реплики вычисляется новая на основе${\displaystyle y}$

${\displaystyle y_{i}^{*}={\widehat {y\,}}_{i}+{\widehat {\varepsilon \,}}_{i}v_{i}}$

поэтому остатки случайным образом умножаются на случайную величину со средним 0 и дисперсией 1. Для большинства распределений (но не Маммена) этот метод предполагает, что «истинное» распределение остатков является симметричным и может предложить преимущества по сравнению с простой выборкой остатков для меньшей выборки. размеры. Для случайной величины используются разные формы , например${\displaystyle v_{i}}$${\displaystyle v_{i}}$${\displaystyle v_{i}}$

• Стандартное нормальное распределение

• Распределение, предложенное Мамменом (1993). ^[28]

${\displaystyle v_{i}={\begin{cases}-({\sqrt {5}}-1)/2&{\text{with probability }}({\sqrt {5}}+1)/(2{\sqrt {5}}),\\({\sqrt {5}}+1)/2&{\text{with probability }}({\sqrt {5}}-1)/(2{\sqrt {5}})\end{cases}}}$

Примерно распределение Маммен таково:

${\displaystyle v_{i}={\begin{cases}-0.6180\quad {\text{(with a 0 in the units' place)}}&{\text{with probability }}0.7236,\\+1.6180\quad {\text{(with a 1 in the units' place)}}&{\text{with probability }}0.2764.\end{cases}}}$

• Или более простой дистрибутив, связанный с распределением Радемахера :

${\displaystyle v_{i}={\begin{cases}-1&{\text{with probability }}1/2,\\+1&{\text{with probability }}1/2.\end{cases}}}$

Блокировка начальной загрузки [ править ]

Блочный бутстрап используется, когда данные или ошибки в модели коррелированы. В этом случае простой случай или остаточная передискретизация не удастся, так как невозможно воспроизвести корреляцию в данных. Блочный бутстрап пытается воспроизвести корреляцию путем повторной выборки внутри блоков данных. Блочный бутстрап использовался в основном с данными, коррелированными во времени (т.е. временными рядами), но также может использоваться с данными, коррелированными в пространстве или между группами (так называемые кластерные данные).

Временной ряд: простой блочный бутстрап [ править ]

В (простом) блочном бутстрапе интересующая переменная разбивается на неперекрывающиеся блоки.

Временной ряд: бутстрап движущегося блока [ править ]

В бутстрапе с движущимся блоком, введенном Кюншем (1989), ^[29] данные разделяются на n  -  b  + 1 перекрывающихся блоков длиной b : наблюдения с 1 по b будут блоком 1, наблюдения с 2 по b  + 1 будут блоком 2. и т. д. Тогда из этих n  -  b  + 1 блоков будет произвольно извлечено n / b блоков с заменой. Затем выравнивание этих n / b блоков в том порядке, в котором они были выбраны, даст наблюдения начальной загрузки.

Этот бутстрап работает с зависимыми данными, однако самонастраиваемые наблюдения больше не будут стационарными по конструкции. Но было показано, что случайное изменение длины блока может избежать этой проблемы. ^[30] Этот метод известен как стационарный бутстрап. Другими родственными модификациями бутстрапа подвижного блока являются марковский бутстрап и метод стационарного бутстрапа, который сопоставляет последующие блоки на основе сопоставления стандартного отклонения.

Временной ряд: максимальная энтропия начальной загрузки [ править ]

Винод (2006), ^[31] представляет метод, который самонастраивает данные временных рядов, используя принципы максимальной энтропии, удовлетворяющие эргодической теореме с ограничениями, сохраняющими среднее и сохраняющими массу. Существует пакет R, meboot , ^[32], который использует этот метод, имеющий приложения в эконометрике и информатике.

Данные кластера: блочная загрузка [ править ]

Кластерные данные описывают данные, в которых наблюдается много наблюдений на единицу. Это может быть наблюдение за многими фирмами во многих штатах или наблюдение за студентами во многих классах. В таких случаях структура корреляции упрощается, и обычно делается предположение, что данные коррелированы внутри группы / кластера, но независимы между группами / кластерами. Структуру блочного бутстрапа легко получить (где блок просто соответствует группе), и обычно передискретизируются только группы, в то время как наблюдения внутри групп остаются неизменными. Cameron et al. (2008) обсуждает это для кластерных ошибок в линейной регрессии. ^[33]

Методы повышения вычислительной эффективности [ править ]

Самозагрузка - это мощный метод, хотя может потребовать значительных вычислительных ресурсов как во времени, так и в памяти. Некоторые методы были разработаны, чтобы уменьшить это бремя. Как правило, их можно комбинировать со многими различными типами схем Bootstrap и различными вариантами статистики.

Пуассоновский бутстрап [ править ]

Обычный бутстрап требует случайного выбора n элементов из списка, что эквивалентно извлечению из полиномиального распределения. Это может потребовать большого количества проходов по данным и затруднить параллельное выполнение этих вычислений. Для больших значений n бутстрап Пуассона является эффективным методом создания наборов данных начальной загрузки. ^[34] При генерации одной выборки начальной загрузки вместо случайного извлечения из выборки данных с заменой каждой точке данных назначается случайный вес, распределенный в соответствии с распределением Пуассона с . Для данных большой выборки это будет приблизительная случайная выборка с заменой. Это связано со следующим приближением: ${\displaystyle \lambda =1}$

${\displaystyle \lim _{n\to \infty }\operatorname {Binomial} (n,1/n)=\operatorname {Poisson} (1)}$

Этот метод также хорошо подходит для потоковой передачи данных и растущих наборов данных, поскольку общее количество выборок не нужно знать заранее, прежде чем начинать брать образцы начальной загрузки.

Сумка с маленькими ботинками [ править ]

Для массивных наборов данных часто бывает сложно с вычислительной точки зрения хранить все данные выборки в памяти и выполнять повторную выборку из данных выборки. Пакет Little Bootstraps (BLB) ^[35] предоставляет метод предварительной агрегации данных перед начальной загрузкой для уменьшения вычислительных ограничений. Это работает путем разделения набора данных на сегменты равного размера и агрегирования данных в каждом сегменте. Этот предварительно агрегированный набор данных становится новой выборкой данных, на основе которой будут взяты выборки с заменой. Этот метод похож на Block Bootstrap, но мотивация и определения блоков очень разные. При определенных допущениях выборочное распределение должно приближаться к сценарию полной начальной загрузки. Одним из ограничений является количество корзин, в которых${\displaystyle b}$${\displaystyle b=n^{\gamma }}$${\displaystyle \gamma \in [0.5,1]}$и авторы рекомендуют использовать как общее решение.${\displaystyle b=n^{0.7}}$

Выбор статистики [ править ]

Распределение начальной загрузки точечной оценки параметра совокупности использовалось для получения настраиваемого доверительного интервала для истинного значения параметра, если параметр можно записать как функцию распределения совокупности .

Параметры популяции оцениваются с помощью многих точечных оценок . Популярные семейства точечных оценок включают средние-несмещенные минимальную дисперсию оценки , срединные-несмещенные оценки , байесовские оценки (например, в заднем дистрибутиве «сек режима , средний , средний ) и максимальное правдоподобие .

Согласно асимптотической теории, байесовская точечная оценка и оценка максимального правдоподобия имеют хорошую производительность, когда размер выборки бесконечен . Для практических задач с конечными выборками могут быть предпочтительны другие оценки. Асимптотическая теория предлагает методы, которые часто улучшают производительность бутстрэп-оценок; самонастройку оценки максимального правдоподобия часто можно улучшить с помощью преобразований, связанных с ключевыми величинами . ^[36]

Получение доверительных интервалов из начального распределения [ править ]

Распределение начальной загрузки оценщика параметра использовалось для вычисления доверительных интервалов для его параметра совокупности. ^{[ необходима цитата ]}

Смещение, асимметрия и доверительные интервалы [ править ]

• Смещение : распределение начальной загрузки и выборка могут систематически не совпадать, и в этом случае может возникнуть смещение .

  Если бутстраповское распределение оценщика является симметричным, часто используется процентильный доверительный интервал; такие интервалы особенно подходят для несмещенных по медиане оценок минимального риска (относительно функции абсолютных потерь ). Смещение в распределении начальной загрузки приведет к смещению доверительного интервала.

  В противном случае, если распределение начальной загрузки несимметрично, процентильные доверительные интервалы часто неуместны.

Методы для доверительных интервалов начальной загрузки [ править ]

Существует несколько методов построения доверительных интервалов из начального распределения реального параметра:

• Базовая самозагрузки , ^[36] , также известный как интервал обратного Percentile . ^[37] Базовый бутстрап - это простая схема построения доверительного интервала: просто берутся эмпирические квантили из бутстраповского распределения параметра (см. Davison and Hinkley 1997, Equ. 5.6, p. 194):

${\displaystyle (2{\widehat {\theta \,}}-\theta _{(1-\alpha /2)}^{*},2{\widehat {\theta \,}}-\theta _{(\alpha /2)}^{*})}$где обозначает процентиль коэффициентов начальной загрузки .${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

• Процентильный бутстрап . Процентильный бутстрап работает аналогично базовому бутстрапу, используя процентили распределения бутстрапа, но с другой формулой (обратите внимание на инверсию левого и правого квантилей!):

${\displaystyle (\theta _{(\alpha /2)}^{*},\theta _{(1-\alpha /2)}^{*})}$где обозначает процентиль коэффициентов начальной загрузки .${\displaystyle \theta _{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle \theta ^{*}}$

См. Дэвисон и Хинкли (1997, экв. 5.18, стр. 203) и Эфрон и Тибширани (1993, экв. 13,5, стр. 171).

Этот метод можно применить к любой статистике. Он будет хорошо работать в тех случаях, когда распределение бутстрапа симметрично и сосредоточено на наблюдаемой статистике ^[38], и где статистика выборки несмещена по медиане и имеет максимальную концентрацию (или минимальный риск по отношению к функции потерь абсолютного значения). При работе с небольшими размерами выборки (например, менее 50) базовый / обратный процентиль и доверительные интервалы процентиля (например) для статистики дисперсии будут слишком узкими. Таким образом, при выборке из 20 точек 90% доверительный интервал будет включать истинную дисперсию только в 78% случаев. ^[39] Доверительные интервалы базового / обратного процентиля легче обосновать математически ^{[40] [37]}но в целом они менее точны, чем процентильные доверительные интервалы, и некоторые авторы не рекомендуют их использовать. ^[37]

• Студентный бутстрап . Студентизированный бутстрап, также называемый бутстрап-t , вычисляется аналогично стандартному доверительному интервалу, но заменяет квантили из нормального приближения или приближения Стьюдента квантилями из бутстраповского распределения t-критерия Стьюдента (см. Davison and Hinkley 1997, equ 5.7 с. 194 и Эфрон и Тибширани, 1993, равно 12.22, с. 160):

${\displaystyle (\theta -t_{(1-\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta },\theta -t_{(\alpha /2)}^{*}\cdot {\widehat {\text{se}}}_{\theta })}$где обозначает процентиль загруженного t-критерия Стьюдента , а - оцененная стандартная ошибка коэффициента в исходной модели.${\displaystyle t_{(1-\alpha /2)}^{*}}$${\displaystyle 1-\alpha /2}$ ${\displaystyle t^{*}=({\widehat {\theta \,}}^{*}-{\widehat {\theta \,}})/{\widehat {\text{se}}}_{{\widehat {\theta \,}}^{*}}}$${\displaystyle {\widehat {\text{se}}}_{\theta }}$

Студентизированный тест обладает оптимальными свойствами, поскольку статистика, которая загружается при начальной загрузке, является ключевой (т. Е. Она не зависит от мешающих параметров, поскольку t-критерий асимптотически следует распределению N (0,1)), в отличие от процентильной начальной загрузки.

• Бутстрап с коррекцией смещения - корректирует смещение в дистрибутиве начальной загрузки.
• Ускоренный бутстрап - бутстрап с коррекцией смещения и ускорением (BCa), разработанный Эфроном (1987), ^[14], корректирует как смещение, так и асимметрию в распределении бутстрапа. Этот подход точен в самых разных условиях, требует разумных вычислений и дает достаточно узкие интервалы. ^{[ необходима цитата ]}

Проверка гипотез начальной загрузки [ править ]

Эфрон и Тибширани ^[1] предлагают следующий алгоритм для сравнения средних значений двух независимых выборок: Пусть будет случайная выборка из распределения F с выборочным средним и выборочной дисперсией . Пусть будет еще одна независимая случайная выборка из распределения G со средним значением и дисперсией${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle {\bar {x}}}$${\displaystyle \sigma _{x}^{2}}$${\displaystyle y_{1},\ldots ,y_{m}}$${\displaystyle {\bar {y}}}$${\displaystyle \sigma _{y}^{2}}$

1. Рассчитать статистику теста ${\displaystyle t={\frac {{\bar {x}}-{\bar {y}}}{\sqrt {\sigma _{x}^{2}/n+\sigma _{y}^{2}/m}}}}$
2. Создайте два новых набора данных, значения которых равны, а где - среднее значение объединенной выборки.${\displaystyle x_{i}^{'}=x_{i}-{\bar {x}}+{\bar {z}}}$${\displaystyle y_{i}^{'}=y_{i}-{\bar {y}}+{\bar {z}},}$${\displaystyle {\bar {z}}}$
3. Нарисуйте случайную выборку ( ) размера с заменой из и другую случайную выборку ( ) размера с заменой из .${\displaystyle x_{i}^{*}}$${\displaystyle n}$${\displaystyle x_{i}^{'}}$${\displaystyle y_{i}^{*}}$${\displaystyle m}$${\displaystyle y_{i}^{'}}$
4. Рассчитать статистику теста ${\displaystyle t^{*}={\frac {{\bar {x^{*}}}-{\bar {y^{*}}}}{\sqrt {\sigma _{x}^{*2}/n+\sigma _{y}^{*2}/m}}}}$
5. Повторите 3 и 4 раза (например ), чтобы собрать значения тестовой статистики.${\displaystyle B}$${\displaystyle B=1000}$${\displaystyle B}$
6. Оцените p-значение, как где, когда условие истинно, и 0 в противном случае.${\displaystyle p={\frac {\sum _{i=1}^{B}I\{t_{i}^{*}\geq t\}}{B}}}$${\displaystyle I({\text{condition}})=1}$

Примеры приложений [ править ]

Этот раздел включает список ссылок , связанных материалов для чтения или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Сглаженный бутстрап [ править ]

В 1878 году Саймон Ньюкомб провел наблюдения за скоростью света . ^[41] Набор данных содержит два выброса , которые сильно влияют на выборочное среднее . (Среднее значение выборки не обязательно должно быть последовательной оценкой для любого среднего значения генеральной совокупности , потому что для распределения с тяжелыми хвостами нет необходимости в среднем значении .) Четко определенной и надежной статистикой для центральной тенденции является медиана выборки, которая является последовательной и несмещенной по медиане. для медианы населения.

Распределение начальной загрузки для данных Ньюкомба показано ниже. Метод свертки регуляризации уменьшает дискретность распределения начальной загрузки, добавляя небольшое количество случайного шума N (0, σ ² ) к каждой выборке начальной загрузки. Стандартный выбор - размер выборки n . ^{[ необходима цитата ]}${\displaystyle \sigma =1/{\sqrt {n}}}$

Гистограммы распределения начальной загрузки и распределения гладкой начальной загрузки показаны ниже. Распределение начальной загрузки медианы выборки имеет лишь небольшое количество значений. Распределение сглаженного бутстрапа имеет более широкую поддержку .

В этом примере 95% -ный (процентиль) доверительный интервал начальной загрузки для медианы совокупности равен (26, 28,5), что близко к интервалу для (25,98, 28,46) для сглаженной начальной загрузки.

Отношение к другим подходам к выводу [ править ]

Связь с другими методами повторной выборки [ править ]

Бутстрап отличается от:

• складной нож процедура, используется для оценки уклонов выборочных статистических данных и оценка дисперсии и
• перекрестная проверка , при которой параметры (например, веса регрессии, факторные нагрузки), которые оцениваются в одной подвыборке, применяются к другой подвыборке.

Подробнее см. Передискретизация начальной загрузки .

Агрегирование начальной загрузки (упаковка) - это мета-алгоритм, основанный на усреднении результатов нескольких образцов начальной загрузки.

U-статистика [ править ]

В ситуациях, когда очевидная статистика может быть разработана для измерения требуемой характеристики с использованием только небольшого числа r элементов данных, может быть сформулирована соответствующая статистика, основанная на всей выборке. Учитывая статистику r -выборки, можно создать статистику n -выборки чем-то похожим на бутстрэппинг (взяв среднее значение статистики по всем подвыборкам размера r ). Известно, что эта процедура обладает некоторыми хорошими свойствами, и результатом является U-статистика . Выборочная средняя и выборочная дисперсия в этой форме, г  = 1 и г  = 2.

См. Также [ править ]

• Тщательность и точность
• Агрегирование бутстрапа
• Начальная загрузка
• Эмпирическая вероятность
• Вменение (статистика)
• Надежность (статистика)
• Воспроизводимость
• Повторная выборка

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Diaconis, P .; Ефрон, Б. (май 1983 г.). «Компьютерные методы в статистике» (PDF) . Scientific American . 248 (5): 116–130. DOI : 10.1038 / Scientificamerican0583-116 . научно-популярный
• Ефрон, Б. (1981). «Непараметрические оценки стандартной ошибки: складной нож, бутстрап и другие методы». Биометрика . 68 (3): 589–599. DOI : 10.1093 / Biomet / 68.3.589 .
• Hesterberg, TC; Д. С. Мур ; С. Монаган; А. Клипсон и Р. Эпштейн (2005). «Методы начальной загрузки и тесты перестановок» (PDF) . В Дэвид С. Мур и Джордж МакКейб (ред.). Введение в статистическую практику . программное обеспечение . Архивировано из оригинального (PDF) 15 февраля 2006 года . Проверено 23 марта 2007 .

Внешние ссылки [ править ]

• Учебник по сэмплированию начальной загрузки с использованием MS Excel
• Пример начальной загрузки для моделирования курсов акций с помощью MS Excel
• руководство по начальной загрузке
• пакетная анимация
• Что такое бутстрап?

Программное обеспечение [ править ]

• Статистика101: Передискретизация, Bootstrap, программа моделирования Монте-Карло. Бесплатная программа, написанная на Java, для работы в любой операционной системе.