Непараметрическая регрессия

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Непараметрическая регрессия - это категория регрессионного анализа, в которой предиктор не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы для отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует больших размеров выборки, чем регрессия, основанная на параметрических моделях, потому что данные должны предоставлять структуру модели, а также оценки модели.

Определение [ править ]

В непараметрической регрессии, мы имеем случайные величины и и предположим следующее соотношение:${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ mathbb {E} [Y \ mid X = x] = m (x),}$

где - некоторая детерминированная функция. Линейная регрессия - это ограниченный случай непараметрической регрессии, где предполагается, что она аффинна. Некоторые авторы используют немного более сильное предположение об аддитивном шуме:${\ Displaystyle м (х)}$${\ Displaystyle м (х)}$

${\ Displaystyle Y = м (Х) + U,}$

где случайная величина - это "шумовой член" со средним значением 0. Без предположения, что принадлежит определенному параметрическому семейству функций, невозможно получить несмещенную оценку для , однако большинство оценок являются согласованными при подходящих условиях.${\ displaystyle U}$${\ displaystyle m}$${\ displaystyle m}$

Список универсальных алгоритмов непараметрической регрессии [ править ]

Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.

• ближайшие соседи, см ближайшего соседа интерполяция и к-ближайшие соседи алгоритм
• деревья регрессии
• регрессия ядра
• локальная регрессия
• многомерные сплайны адаптивной регрессии
• нейронные сети
• опорная векторная регрессия
• сглаживающие шлицы

Примеры [ править ]

Регрессия гауссовского процесса или кригинг [ править ]

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовский априор. Предполагается, что ошибки имеют многомерное нормальное распределение, а кривая регрессии оценивается по ее апостериорной моде . Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются эмпирическим методом Байеса . Гиперпараметры обычно определяют предварительное ядро ​​ковариации. В случае, если ядро ​​также должно быть выведено непараметрическим образом из данных, можно использовать критический фильтр .

Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.

Регрессия ядра [ править ]

Регрессия ядра оценивает непрерывную зависимую переменную по ограниченному набору точек данных путем свертки местоположений точек данных с помощью функции ядра - грубо говоря, функция ядра указывает, как «размыть» влияние точек данных, чтобы их значения могли быть используется для прогнозирования стоимости для ближайших местоположений.

Деревья регрессии [ править ]

Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных. ^[1] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды. ^[2]

См. Также [ править ]

• Лассо (статистика)
• Локальная регрессия
• Непараметрическая статистика
• Полупараметрическая регрессия
• Изотоническая регрессия
• Многомерные сплайны адаптивной регрессии

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Bowman, AW; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных . Оксфорд: Clarendon Press. ISBN 0-19-852396-3.
• Fan, J .; Гиджбельс, И. (1996). Локальное полиномиальное моделирование и его приложения . Бока-Ратон: Чепмен и Холл. ISBN 0-412-98321-4.
• Хендерсон, диджей; Парметр, CF (2015). Прикладная непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-1-107-01025-3.
• Li, Q .; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика . Принстон: Издательство Принстонского университета. ISBN 978-0-691-12161-1.
• Пэган, А .; Уллах, А. (1999). Непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN 0-521-35564-8.

Внешние ссылки [ править ]

Викискладе есть медиафайлы по теме непараметрической регрессии .

• HyperNiche, программа для непараметрической мультипликативной регрессии .
• Масштабно-адаптивная непараметрическая регрессия (с программным обеспечением Matlab).