Порядковая регрессия

В статистике , порядковая регрессия (также называемая «порядковая классификацией») представляет собой тип регрессионного анализа используется для прогнозирования в порядковом переменном , т.е. переменного, значение которой существует в произвольном масштабе , где только относительное упорядочение между различными значениями является существенным. Это можно считать промежуточной проблемой между регрессией и классификацией . ^{[1] [2]} Примерами порядковой регрессии являются упорядоченный логит и упорядоченный пробит . Порядковая регрессия часто встречается в социальных науках, например, при моделировании уровней предпочтений человека (по шкале, скажем, от 1–5 для «очень плохо» до «отлично»), а также при поиске информации . В машинном обучении порядковая регрессия также может называться ранговым обучением . ^{[3] [а]}

Линейные модели для порядковой регрессии [ править ]

Порядковая регрессия может быть выполнена с использованием обобщенной линейной модели (GLM), которая соответствует как вектору коэффициентов, так и набору пороговых значений для набора данных. Предположу , что один имеет набор наблюдений, представленный длина- р векторы х ₁ через й _п , с соответствующими ответами у ₁ через у _п , где каждый у _я является порядковым переменным по шкале 1, ..., K . Для простоты и без ограничения общности мы предполагаем, что y - неубывающий вектор, то есть y _i ${\ displaystyle \ leq}$у _{я + 1} . К этим данным подходят вектор w коэффициентов длины p и набор порогов θ ₁ , ..., θ _{K −1} со свойством θ ₁ < θ ₂ <... < θ _{K −1} . Этот набор пороговых значений делит линию вещественных чисел на K непересекающихся сегментов, соответствующих K уровням отклика.

Модель теперь можно сформулировать как

${\ Displaystyle \ Pr (Y \ Leq я | \ mathbf {x}) = \ sigma (\ theta _ {я} - \ mathbf {w} \ cdot \ mathbf {x})}$

или совокупная вероятность того, что ответ y не превосходит i , задается функцией σ ( функция обратной связи ), примененной к линейной функции от x . Существует несколько вариантов для σ ; логистическая функция

${\ displaystyle \ sigma (\ theta _ {i} - \ mathbf {w} \ cdot \ mathbf {x}) = {\ frac {1} {1 + e ^ {- (\ theta _ {i} - \ mathbf {ш} \ cdot \ mathbf {x})}}}}$

дает упорядоченную логит- модель, а использование пробит- функции дает упорядоченную пробит- модель. Третий вариант - использовать экспоненциальную функцию

${\ displaystyle \ sigma (\ theta _ {i} - \ mathbf {w} \ cdot \ mathbf {x}) = \ exp (- \ exp (\ theta _ {i} - \ mathbf {w} \ cdot \ mathbf {Икс} ))}$

что дает модель пропорциональных опасностей . ^[4]

Модель со скрытыми переменными [ править ]

Пробит-версия вышеупомянутой модели может быть оправдана, если предположить существование действительной скрытой переменной (ненаблюдаемой величины) y * , определяемой ^[5]

${\displaystyle y^{*}=\mathbf {w} \cdot \mathbf {x} +\varepsilon }$

где ε является нормально распределены с нулевым средним и единичной дисперсией, кондиционером на х . Переменная отклика y является результатом «неполного измерения» y * , где определяется только интервал, в который попадает y * :

${\displaystyle y={\begin{cases}1~~{\text{if}}~~y^{*}\leq \theta _{1},\\2~~{\text{if}}~~\theta _{1}<y^{*}\leq \theta _{2},\\3~~{\text{if}}~~\theta _{2}<y^{*}\leq \theta _{3}\\\vdots \\K~~{\text{if}}~~\theta _{K-1}<y^{*}.\end{cases}}}$

Определяя θ ₀ = -∞ и θ _K = ∞ , вышесказанное можно резюмировать как y = k тогда и только тогда, когда θ _{k −1} < y * ≤ θ _k .

Исходя из этих предположений, можно получить условное распределение y как ^[5]

${\displaystyle {\begin{aligned}P(y=k|\mathbf {x} )&=P(\theta _{k-1}<y^{*}\leq \theta _{k}|\mathbf {x} )\\&=P(\theta _{k-1}<\mathbf {w} \cdot \mathbf {x} +\varepsilon \leq \theta _{k})\\&=\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} )-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} )\end{aligned}}}$

где Φ - кумулятивная функция распределения стандартного нормального распределения и играет роль функции обратной связи σ . Логарифмическая функция правдоподобия модели для одного примера тренировочного х _I , у _я теперь может быть сформулирована ^[5]

${\displaystyle \log {\mathcal {L}}(\mathbf {w} ,\mathbf {\theta } |\mathbf {x} _{i},y_{i})=\sum _{k=1}^{K}[y_{i}=k]\log[\Phi (\theta _{k}-\mathbf {w} \cdot \mathbf {x} _{i})-\Phi (\theta _{k-1}-\mathbf {w} \cdot \mathbf {x} _{i})]]}$

(с использованием скобки Айверсона [ y _i = k ] .) Логарифмическая вероятность упорядоченной логит-модели аналогична, с использованием логистической функции вместо Φ . ^[6]

Альтернативные модели [ править ]

В машинном обучении были предложены альтернативы моделям порядковой регрессии со скрытыми переменными. Первым результатом был PRank, вариант алгоритма перцептрона , который обнаружил несколько параллельных гиперплоскостей, разделяющих различные ранги; его выходом являются весовой вектор w и отсортированный вектор из K −1 порогов θ , как в упорядоченных моделях логит / пробит. Правило прогнозирования для этой модели состоит в том, чтобы вывести наименьший ранг k такой, что wx < θ _k . ^[7]

Другие методы основаны на принципе обучения с большим запасом, который также лежит в основе векторных машин поддержки . ^{[8] [9]}

Другой подход предложен Ренни и Сребро, которые, понимая, что «даже простая оценка вероятности предиктора не является прямой» в моделях упорядоченного логита и упорядоченного пробита, предлагают подходящие модели порядковой регрессии путем адаптации общих функций потерь из классификации ( такие как потеря петли и потеря лога ) к порядковому случае. ^[10]

Программное обеспечение [ править ]

ORCA (Алгоритмы порядковой регрессии и классификации) - это структура Octave / MATLAB, включающая широкий набор методов порядковой регрессии. ^[11]

Пакеты R, которые предоставляют методы порядковой регрессии, включают MASS ^[12] и Ordinal. ^[13]

См. Также [ править ]

• Логистическая регрессия

Заметки [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Агрести, Алан (2010). Анализ порядковых категориальных данных . Хобокен, Нью-Джерси: Уайли. ISBN 978-0470082898. CS1 maint: discouraged parameter (link)
• Грин, Уильям Х. (2012). Эконометрический анализ (седьмое изд.). Бостон: образование Пирсона. С. 824–842. ISBN 978-0-273-75356-8. CS1 maint: discouraged parameter (link)
• Хардин, Джеймс; Хильбе, Джозеф (2007). Обобщенные линейные модели и расширения (2-е изд.). Колледж-Стейшн: Stata Press. ISBN 978-1-59718-014-6. CS1 maint: discouraged parameter (link)