Изотоническая регрессия

Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом . Пожалуйста, помогите улучшить статью , предоставив читателю больше контекста . ( Февраль 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Пример изотонической регрессии (сплошная красная линия) по сравнению с линейной регрессией на тех же данных, оба подходят для минимизации среднеквадратичной ошибки . Свойство произвольной формы изотонической регрессии означает, что линия может быть круче там, где круче данные; ограничение изотоничности означает, что линия не уменьшается.

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , изотонические регрессии или монотонная регрессия является методом подгонки свободной формы линии к последовательности наблюдений таким образом, что встроенная линия не убывает (или не возрастает) всюду, и ложь как можно ближе к наблюдениям , как это возможно.

Приложения [ править ]

Изотоническая регрессия имеет применение в статистических выводах . Например, его можно использовать для подгонки изотонической кривой к средним значениям некоторого набора экспериментальных результатов, когда ожидается увеличение этих средних значений в соответствии с определенным порядком. Преимущество изотонической регрессии состоит в том, что она не ограничена какой-либо функциональной формой, такой как линейность, налагаемая линейной регрессией , пока функция является монотонно возрастающей.

Другое применение неметрического многомерное масштабирование , ^[1] , где маломерная вложение для точек данных ищутся таким образом, что порядок расстояний между точками в вложении матчей порядка несходства между точками. Изотоническая регрессия используется итеративно для подбора идеальных расстояний для сохранения порядка относительного несходства.

Изотоническая регрессия также используется в вероятностной классификации для калибровки прогнозируемых вероятностей моделей машинного обучения с учителем. ^[2]

Изотоническая регрессия для простого упорядоченного случая с одномерным была применена для оценки непрерывных зависимостей доза-реакция в таких областях, как анестезиология и токсикология. Узко говоря, изотоническая регрессия обеспечивает только точечные оценки при наблюдаемых значениях. Оценка полной кривой доза-реакция без каких-либо дополнительных предположений обычно выполняется посредством линейной интерполяции между точечными оценками. ^[3]${\ displaystyle x, y}$${\ displaystyle x.}$

Программное обеспечение для вычисления изотонной (монотонной) регрессии было разработано для R , ^{[4] [5]} Stata и Python . ^[6]

Алгоритмы [ править ]

С точки зрения численного анализа , изотоническая регрессия включает в себя нахождение взвешенного метода наименьших квадратов, подходящего для вектора с вектором весов, подчиняющимся набору непротиворечивых ограничений такого рода . Обычный выбор для ограничений , или, другими словами: каждая точка должна быть не ниже предыдущей.${\ Displaystyle х \ в \ mathbb {R} ^ {п}}$ ${\ Displaystyle а \ в \ mathbb {R} ^ {п}}$${\ Displaystyle ш \ в \ mathbb {R} ^ {п}}$${\ displaystyle x_ {i} \ leq x_ {j}}$${\ Displaystyle х_ {я} \ leq х_ {я + 1}}$

Такие ограничения определяют частичное или полное упорядочение и могут быть представлены в виде ориентированного графа , где (узлы) - это набор переменных (наблюдаемых значений), участвующих, а (ребра) - это набор пар для каждого ограничения . Таким образом, задача изотонической регрессии соответствует следующей квадратичной программе (QP):${\ Displaystyle G = (N, E)}$${\ displaystyle N}$${\ displaystyle E}$${\ displaystyle (я, j)}$${\ displaystyle x_ {i} \ leq x_ {j}}$

${\ displaystyle \ min \ sum _ {i = 1} ^ {n} w_ {i} (x_ {i} -a_ {i}) ^ {2}}$ ${\ displaystyle {\ text {subject to}} x_ {i} \ leq x_ {j} {\ text {для всех}} (i, j) \ in E.}$

В том случае , когда это общее упорядочение , простой итерационный алгоритм для решения этой квадратичной программы называется алгоритмом смежных Нарушителей бассейна . Напротив, Бест и Чакраварти ^[7] изучили проблему как проблему идентификации активного множества и предложили простой алгоритм. Эти два алгоритма можно рассматривать как двойственные друг другу, и оба имеют вычислительную сложность для уже отсортированных данных. ^[7]${\ Displaystyle G = (N, E)}$${\ Displaystyle О (п)}$

Просто заказанный случай [ править ]

Чтобы проиллюстрировать сказанное выше, пусть ограничения будут .${\ displaystyle x_ {i} \ leq x_ {j}}$${\ Displaystyle x_ {1} \ leq x_ {2} \ leq \ ldots \ leq x_ {n}}$

Изотоническая оценка минимизирует взвешенное условие типа наименьших квадратов:${\ displaystyle g ^ {*}}$

${\ displaystyle \ min _ {g \ in {\ mathcal {A}}} \ sum _ {i = 1} ^ {n} w_ {i} (g (x_ {i}) - f (x_ {i}) ) ^ {2}}$

где - множество всех кусочно линейных, неубывающих, непрерывных функций, а - известная функция.${\ displaystyle {\ mathcal {A}}}$${\ displaystyle f}$

Центрированная изотоническая регрессия [ править ]

Как видно на первом рисунке этой статьи, при наличии нарушений монотонности полученная интерполированная кривая будет иметь плоские (постоянные) интервалы. В приложениях "доза-реакция" обычно известно, что он не только монотонный, но и плавный. Плоские интервалы несовместимы с предполагаемой формой России и могут показаться смещенными. Простое усовершенствование для таких приложений, названное центрированной изотонической регрессией (CIR), было разработано Ороном и Флорной, и было показано, что оно существенно снижает ошибку оценки как для приложений доза-реакция, так и для приложений определения дозы. ^[8] И CIR, и стандартная изотоническая регрессия для одномерного, просто упорядоченного случая реализованы в пакете R «cir». ^[4] Этот пакет также предоставляет аналитические оценки доверительного интервала.${\ displaystyle f (x)}$${\ displaystyle f (x)}$

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Робертсон, Т .; Райт, FT; Дикстра, Р.Л. (1988). Заказ ограниченного статистического вывода . Нью-Йорк: Вили. ISBN 978-0-471-91787-8.
• Барлоу, RE; Варфоломей, диджей; Бремнер, JM; Brunk, HD (1972). Статистический вывод при ограничениях заказа; теория и применение изотонической регрессии . Нью-Йорк: Вили. ISBN 978-0-471-04970-8.
• Шивели, Т.С., Сагер, Т.В., Уокер, С.Г. (2009). «Байесовский подход к непараметрическому оцениванию монотонных функций». Журнал Королевского статистического общества, Series B . 71 (1): 159–175. CiteSeerX  10.1.1.338.3846 . DOI : 10.1111 / j.1467-9868.2008.00677.x .CS1 maint: multiple names: authors list (link)
• Wu, WB ; Woodroofe, M .; Менц, Г. (2001). «Изотоническая регрессия: еще один взгляд на проблему точки смены». Биометрика . 88 (3): 793–804. DOI : 10.1093 / Biomet / 88.3.793 .