Нарезанная обратная регрессия (SIR) - это инструмент для уменьшения размерности в области многомерной статистики .
В статистике , регрессионный анализ является популярным способом изучения взаимосвязи между переменной отклика у и ее объясняющей переменной, который является p -мерным вектором. Есть несколько подходов, которые подпадают под понятие регрессии. Например, параметрические методы включают множественную линейную регрессию; непараметрические методы включают локальное сглаживание .
С данными большой размерности (по мере роста p ) количество наблюдений, необходимых для использования методов локального сглаживания, увеличивается экспоненциально. Уменьшение количества измерений делает операцию вычислимой. Сокращение размеров направлено на отображение только наиболее важных направлений данных. SIR использует кривую обратной регрессии, для выполнения взвешенного анализа главных компонентов, с помощью которого можно определить эффективные направления уменьшения размерности.
Эта статья сначала знакомит читателя с предметом уменьшения размерности и с тем, как это выполняется с использованием модели, представленной здесь. Затем следует краткий обзор обратной регрессии, который позже объединяет эти части.
Модель
Учитывая переменную ответа и (случайный) вектор независимых переменных, SIR основан на модели
где - неизвестные векторы проекции. - неизвестное число (размерность пространства, до которого мы пытаемся уменьшить наши данные) и, конечно, поскольку мы хотим уменьшить размерность, меньше, чем . неизвестная функция на , поскольку это зависит только от аргументы и ошибка с и конечная дисперсия . Модель описывает идеальное решение, где зависит от только через размерное подпространство; т.е. можно уменьшить размерность независимых переменных от к меньшему количеству без потери информации.
Эквивалентная версия есть: условное распределение дано зависит от только через размерный случайный вектор . Предполагается, что этот приведенный вектор так же информативен, как и исходный в объяснении .
Неизвестный называются эффективными направлениями уменьшения размеров (EDR-направлениями). Пространство, натянутое на эти векторы, обозначается как пространство, уменьшающее эффективную размерность (EDR-пространство).
Соответствующий фон линейной алгебры
Чтобы иметь возможность визуализировать модель, обратите внимание на небольшой обзор векторных пространств:
Для определения векторного пространства и некоторых других свойств я буду ссылаться на статью Линейная алгебра и ортогонализация Грама-Шмидта или любой учебник по линейной алгебре и упомяну только самые важные факты для понимания модели.
Поскольку EDR-пространство является -мерное подпространство, нам нужно знать, что такое подпространство. Подпространство определяется как подмножество , если он считает, что
Дано , тогда , набор всех линейных комбинаций этих векторов, называется линейным подпространством и, следовательно, векторным пространством. Говорят, векторы охватывать . Но векторы, охватывающие пространствоне уникальны. Это приводит нас к концепции базиса и размерности векторного пространства:
Множество линейно независимых векторов векторного пространства называется базисом из, если он считает, что
Размер равно максимальному количеству линейно независимых векторов в . Набор из линейно независимые векторы создать основу . Размерность векторного пространства уникальна, как и сама основа. Несколько баз могут занимать одно и то же пространство. Конечно, также зависимые векторы охватывают пространство, но их линейные комбинации могут дать только набор векторов, лежащих на прямой. Поскольку мы ищемразмерное подпространство, мы заинтересованы в нахождении линейно независимые векторы, охватывающие размерное подпространство, на которое мы хотим проецировать наши данные.
Проклятие размерности
Причина, по которой мы хотим уменьшить размерность данных, связана с « проклятием размерности » и, конечно же, с графическими целями. Проклятие размерности происходит из-за быстрого увеличения объема, добавляющего больше измерений в (математическое) пространство. Например, рассмотрим 100 наблюдений от службы поддержки., которые достаточно хорошо покрывают интервал, и сравнить его со 100 наблюдениями из соответствующих единичный гиперквадрат, представляющий собой изолированные точки в огромном пустом пространстве. В первом случае легко сделать выводы о свойствах, лежащих в основе данных, а во втором - нет.
Обратная регрессия
Вычисление кривой обратной регрессии (IR) означает вместо поиска
- , которая представляет собой кривую в
мы рассчитываем
- , которая также является кривой в , но состоящий из одномерные регрессии.
Центр кривой обратной регрессии расположен в точке . Следовательно, центрированная кривая обратной регрессии имеет вид
который является размерная кривая в . Далее мы рассмотрим эту центральную кривую обратной регрессии и увидим, что она лежит на-мерное подпространство, натянутое на .
Но прежде чем убедиться в этом, мы посмотрим, как вычисляется кривая обратной регрессии в рамках SIR-алгоритма, который будет подробно представлен позже. Получается "нарезанная" часть SIR. Оценим кривую обратной регрессии, разделив диапазон значений в неперекрывающиеся интервалы (срезы), чтобы впоследствии вычислить средние значения выборки каждого ломтика. Эти выборочные средние используются в качестве приблизительной оценки ИК-кривой , обозначенной как. Есть несколько способов определить срезы: либо таким образом, чтобы в каждом срезе было одинаковое количество наблюдений, либо мы определяем фиксированный диапазон для каждого среза, чтобы затем мы получали разные пропорции которые попадают в каждый кусочек.
Обратная регрессия против уменьшения размерности
Как уже упоминалось, центральная кривая обратной регрессии лежит на -мерное подпространство, натянутое на (и, следовательно, также грубая оценка, которую мы вычисляем). Это связь между нашей моделью и обратной регрессией. Мы увидим, что это правда, с единственным условием на расчетное распределение, которое должно выполняться. Это условие заключается в том, что:
Т.е. условное ожидание линейно по , то есть для некоторых констант . Это условие выполняется, когда распределениеэллиптически симметрично (например, нормальное распределение). Это кажется довольно сильным требованием. Это может помочь, например, более внимательно изучить распределение данных, чтобы можно было удалить выбросы или разделить кластеры перед анализом.
Учитывая это условие и , действительно, центрированная кривая обратной регрессии содержится в линейном подпространстве, натянутом на , где . Доказательство предоставлено Дуаном и Ли в журнале Американской статистической ассоциации (1991).
Оценка EDR-направлений
После ознакомления со всеми теоретическими свойствами, наша цель - оценить EDR-направления. Для этого мы проводим (взвешенный) анализ главных компонент для выборочных средних., после стандартизации к . В соответствии с приведенной выше теоремой ИК-кривая лежит в пространстве, охватываемом , где . (Из-за введенной ранее терминологииназываются стандартизованными направлениями уменьшения эффективных размерностей .) Как следствие, ковариационная матрица вырожден в любом направлении, ортогональном . Следовательно, собственные векторы связанный с наибольшие собственные значения - это стандартизированные EDR-направления.
Вернемся к СПС. То есть вычисляем оценку для:
и определить собственные значения и собственные векторы из , которые являются стандартизированными EDR-направлениями. (Подробнее об этом см. Следующий раздел: Алгоритм.) Помните, что основная идея преобразования ПК - найти наиболее информативные прогнозы, которые максимизируют дисперсию!
Обратите внимание, что в некоторых случаях SIR не находит EDR-направления. Эту трудность можно преодолеть, рассматривая условную ковариацию. Принцип остается таким же, как и раньше, но исследуется IR-кривая с условной ковариацией вместо условного ожидания. Дополнительные подробности и пример отказа SIR см. В Härdle and Simar (2003).
Алгоритм
Алгоритм оценки EDR-направлений через SIR следующий. Это взято из учебника « Прикладной многомерный статистический анализ» (Härdle and Simar 2003).
1. Пусть - ковариационная матрица . Стандартизировать к
(Следовательно, мы можем переписать в виде
где Для стандартизованной переменной Z справедливо, что а также .)
2. Разделите диапазон в неперекрывающиеся срезы количество наблюдений в каждом срезе и индикаторная функция для этого среза:
3. Вычислить среднее значение по всем срезам, что является приблизительной оценкой кривой обратной регрессии :
4. Рассчитайте оценку для:
5. Определите собственные значения. и собственные векторы из , которые являются стандартизированными EDR-направлениями.
6. Преобразуйте стандартизированные EDR-направления обратно к исходному масштабу. Оценки для EDR-направлений даются:
(которые не обязательно ортогональны)
Примеры см. В книге Härdle and Simar (2003).
Рекомендации
- Ли, KC. (1991) «Нарезанная обратная регрессия для уменьшения размерности», Журнал Американской статистической ассоциации , 86, 316–327 Jstor
- Кук, Р.Д. и Сэнфорд Вайсберг, С. (1991) «Нарезанная обратная регрессия для уменьшения размерности: комментарий», Журнал Американской статистической ассоциации , 86, 328–332 Jstor
- Хердл В. и Симар Л. (2003) Прикладной многомерный статистический анализ , Springer Verlag. ISBN 3-540-03079-4
- Kurzfassung zur Vorlesung Mathematik II im Sommersemester 2005, А. Брандт