Логистическая регрессия

В статистике , то логистическая модель (или логит модели ) используется для моделирования вероятности определенного класса или события , такие как существующие годен / не годен, выигрыш / проигрыш, живой / мертвый или здоровый / больной. Это может быть расширено для моделирования нескольких классов событий, таких как определение наличия на изображении кошки, собаки, льва и т. Д. Каждому обнаруживаемому на изображении объекту будет присвоена вероятность от 0 до 1 с суммой, равной единице.

Логистическая регрессия - это статистическая модель, которая в своей базовой форме использует логистическую функцию для моделирования двоичной зависимой переменной , хотя существует множество более сложных расширений . В регрессионном анализе , логистическая регрессия ^[1] (или логит регрессия ) является оценка параметров логистической модели (форма двоичной регрессии ). Математически бинарная логистическая модель имеет зависимую переменную с двумя возможными значениями, например, прошел / не прошел, которая представлена индикаторной переменной , где два значения помечены как «0» и «1». В логистической моделилог-коэффициенты (The логарифм из шансов ) для значения с надписью «1» представляет собой линейную комбинацию из одного или нескольких независимых переменных ( «предсказателей»); каждая независимая переменная может быть двоичной переменной (два класса, кодируемых индикаторной переменной) или непрерывной переменной (любое действительное значение). Соответствующая вероятность значения, помеченного «1», может варьироваться от 0 (безусловно, значение «0») до 1 (безусловно, значение «1»), отсюда и маркировка; функция, которая преобразует логарифмические шансы в вероятность, является логистической функцией, отсюда и название. Единица измерения для шкалы лог-фор называется логит ,из журналаistic un it , отсюда и альтернативные названия. Можно также использовать аналогичные модели с другой сигмоидной функцией вместо логистической, например пробит-модель ; определяющей характеристикой логистической модели является то, что увеличение одной из независимых переменных мультипликативно увеличивает шансы данного результата с постоянной скоростью, при этом каждая независимая переменная имеет свой собственный параметр; для двоичной зависимой переменной это обобщает отношение шансов .

В модели бинарной логистической регрессии зависимая переменная имеет два уровня ( категориальный ). Выходы с более чем двумя значениями моделируются с помощью полиномиальной логистической регрессии и, если несколько категорий упорядочены , с помощью порядковой логистической регрессии (например, порядковая логистическая модель пропорциональных шансов ^[2] ). Сама модель логистической регрессии просто моделирует вероятность выхода с точки зрения затрат и не выполняет статистическую классификацию.(это не классификатор), хотя его можно использовать для создания классификатора, например, путем выбора порогового значения и классификации входных данных с вероятностью больше порогового значения как один класс, ниже порогового значения как другой; это обычный способ сделать двоичный классификатор . Коэффициенты обычно не вычисляются с помощью выражения в замкнутой форме, в отличие от линейного метода наименьших квадратов ; см. § Подгонка модели . Логистической регрессии в качестве общей статистической модели была первоначально разработана и популяризировал в первую очередь Джозефа Berkson , ^[3] , начиная с Berkson (1944) , где он придуман «логит»; см. § История .Ошибка harvtxt: цель отсутствует: CITEREFBerkson1944 ( справка )

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал
v т е

Приложения [ править ]

Логистическая регрессия используется в различных областях, включая машинное обучение, большинство областей медицины и социальных наук. Например, Шкала тяжести травм и травм ( TRISS ), которая широко используется для прогнозирования смертности травмированных пациентов, была первоначально разработана Boyd et al. с помощью логистической регрессии. ^[4] Многие другие медицинские шкалы, используемые для оценки степени тяжести состояния пациента, были разработаны с использованием логистической регрессии. ^{[5] [6] [7] [8]} Логистическая регрессия может использоваться для прогнозирования риска развития данного заболевания (например, диабета ; ишемической болезни сердца ) на основе наблюдаемых характеристик пациента (возраст, пол, индекс массы тела., результаты различных анализов крови и др.). ^{[9] [10]} Другим примером может быть предсказание того, проголосует ли непальский избиратель за Конгресс Непала, Коммунистическую партию Непала или любую другую партию, на основании возраста, дохода, пола, расы, государства проживания, голосов на предыдущих выборах и т. Д. . ^[11] Этот метод также может использоваться в инженерии , особенно для прогнозирования вероятности отказа данного процесса, системы или продукта. ^{[12] [13]} Он также используется в маркетинговых приложениях, таких как прогнозирование склонности клиента к покупке продукта или прекращению подписки и т. Д. ^[14] В экономикеего можно использовать для прогнозирования вероятности того, что человек выберет свою рабочую силу, а бизнес-приложение может использоваться для прогнозирования вероятности невыполнения домовладельцем обязательств по ипотеке . Условные случайные поля , расширение логистической регрессии до последовательных данных, используются при обработке естественного языка .

Примеры [ править ]

Логистическая модель [ править ]

Этот раздел может содержать чрезмерное количество сложных деталей, которые могут заинтересовать только определенную аудиторию . В частности, действительно ли нам нужно использовать в примере и другие не распространенные базы?${\displaystyle b}$ . Пожалуйста, помогите, выделив или переместив любую соответствующую информацию и удалив лишние детали, которые могут противоречить политике включения Википедии . ( Март 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Давайте попробуем понять логистическую регрессию, рассмотрев логистическую модель с заданными параметрами, а затем посмотрим, как можно оценить коэффициенты на основе данных. Рассмотрим модель с двумя предикторами, и , и одной двоичной (Бернулли) переменной отклика , которую мы обозначаем . Мы предполагаем линейную зависимость между переменными-предикторами и логарифмическими шансами (также называемыми логит) события, которое . Это линейное соотношение может быть записано в следующей математической форме (где ℓ - логарифм шансов, является основанием логарифма и являются параметрами модели):${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle Y}$${\displaystyle p=P(Y=1)}$${\displaystyle Y=1}$${\displaystyle b}$${\displaystyle \beta _{i}}$

${\displaystyle \ell =\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}$

Мы можем восстановить шансы , возведя в степень логарифм шансов:

${\displaystyle {\frac {p}{1-p}}=b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}$.

Путь простой алгебраической манипуляции (и разделив числитель и знаменатель на ), вероятность того, что является${\displaystyle b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}$${\displaystyle Y=1}$

${\displaystyle p={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}+1}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}=S_{b}(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}$.

Где это сигмовидной функция с основанием . Приведенная выше формула показывает, что после того, как они зафиксированы, мы можем легко вычислить либо логарифмические шансы для данного наблюдения, либо вероятность для данного наблюдения. Основным вариантом использования логистической модели является получение наблюдения и оценка вероятности этого . В большинстве приложений основание логарифма обычно принимается равным e . Однако в некоторых случаях проще сообщить результаты, работая с основанием 2 или основанием 10.${\displaystyle S_{b}}$${\displaystyle b}$${\displaystyle \beta _{i}}$${\displaystyle Y=1}$${\displaystyle Y=1}$${\displaystyle (x_{1},x_{2})}$${\displaystyle p}$${\displaystyle Y=1}$${\displaystyle b}$

Рассмотрим пример с , и коэффициенты , и . Чтобы быть конкретным, модель${\displaystyle b=10}$${\displaystyle \beta _{0}=-3}$${\displaystyle \beta _{1}=1}$${\displaystyle \beta _{2}=2}$

${\displaystyle \log _{10}{\frac {p}{1-p}}=\ell =-3+x_{1}+2x_{2}}$

где - вероятность того, что событие .${\displaystyle p}$${\displaystyle Y=1}$

Это можно интерпретировать так:

• ${\displaystyle \beta _{0}=-3}$это y- перехват . Это логарифм шансов события , когда предикторы . Возведя в степень, мы можем увидеть, что когда шансы события равны 1 к 1000, или . Точно так же вероятность события, когда может быть вычислена как .${\displaystyle Y=1}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle Y=1}$${\displaystyle 10^{-3}}$${\displaystyle Y=1}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle 1/(1000+1)=1/1001}$
• ${\displaystyle \beta _{1}=1}$означает, что увеличение на 1 увеличивает логарифмические шансы на . Таким образом, если увеличивается на 1, шансы увеличиваются в раз . Следует отметить , что вероятность из также увеличилась, но она не увеличивается так же , как шансы увеличились.${\displaystyle x_{1}}$${\displaystyle 1}$${\displaystyle x_{1}}$${\displaystyle Y=1}$${\displaystyle 10^{1}}$${\displaystyle Y=1}$
• ${\displaystyle \beta _{2}=2}$означает, что увеличение на 1 увеличивает логарифмические шансы на . Таким образом, если увеличивается на 1, шансы увеличиваются в раз. Обратите внимание, что влияние на логарифм шансов вдвое больше, чем влияние , но влияние на шансы в 10 раз больше. Но эффект на вероятность из не так много , как 10 раз больше, это только эффект на вероятность того, что в 10 раз больше.${\displaystyle x_{2}}$${\displaystyle 2}$${\displaystyle x_{2}}$${\displaystyle Y=1}$${\displaystyle 10^{2}.}$${\displaystyle x_{2}}$${\displaystyle x_{1}}$${\displaystyle Y=1}$

Чтобы оценить параметры на основе данных, необходимо выполнить логистическую регрессию.${\displaystyle \beta _{i}}$

Вероятность сдачи экзамена по сравнению с часами обучения [ править ]

Чтобы ответить на следующий вопрос:

Группа из 20 студентов тратит от 0 до 6 часов на подготовку к экзамену. Как количество часов, потраченных на обучение, влияет на вероятность сдачи студентом экзамена?

Причина использования логистической регрессии для этой проблемы заключается в том, что значения зависимой переменной, пройден и не пройден, хотя и представлены «1» и «0», не являются количественными числами . Если проблема была изменена таким образом, что результат «прошел / не прошел» был заменен оценкой 0–100 (количественные числа), то можно было бы использовать простой регрессионный анализ .

В таблице показано количество часов, проведенных каждым учащимся, и указано, прошли ли они (1) или не прошли (0).

График показывает вероятность сдачи экзамена в зависимости от количества часов обучения, с кривой логистической регрессии, подобранной к данным.

Логистический регрессионный анализ дает следующий результат.

Вывод показывает, что количество часов обучения в значительной степени связано с вероятностью сдачи экзамена ( , тест Вальда ). В выходных данных также представлены коэффициенты для и . Эти коэффициенты вводятся в уравнение логистической регрессии для оценки шансов (вероятности) сдачи экзамена:${\displaystyle p=0.0167}$${\displaystyle {\text{Intercept}}=-4.0777}$${\displaystyle {\text{Hours}}=1.5046}$

${\displaystyle {\begin{aligned}{\text{Log-odds of passing exam}}&=1.5046\cdot {\text{Hours}}-4.0777=1.5046\cdot ({\text{Hours}}-2.71)\\{\text{Odds of passing exam}}&=\exp \left(1.5046\cdot {\text{Hours}}-4.0777\right)=\exp \left(1.5046\cdot ({\text{Hours}}-2.71)\right)\\{\text{Probability of passing exam}}&={\frac {1}{1+\exp \left(-\left(1.5046\cdot {\text{Hours}}-4.0777\right)\right)}}\end{aligned}}}$

Один дополнительный час обучения, по оценкам, увеличит логарифмические шансы прохождения на 1,5046, поэтому умножение шансов прохождения через Форму с перехватом x (2,71) показывает, что это оценивает четные шансы (логарифм шансов 0, шансы 1, вероятность 1 / 2) для обучающегося 2,71 часа.${\displaystyle \exp(1.5046)\approx 4.5.}$

Например, для студента, который учится 2 часа, ввод значения в уравнение дает оценочную вероятность сдачи экзамена 0,26:${\displaystyle {\text{Hours}}=2}$

${\displaystyle {\text{Probability of passing exam}}={\frac {1}{1+\exp \left(-\left(1.5046\cdot 2-4.0777\right)\right)}}=0.26}$

Точно так же для студента, который учится 4 часа, оценочная вероятность сдачи экзамена составляет 0,87:

${\displaystyle {\text{Probability of passing exam}}={\frac {1}{1+\exp \left(-\left(1.5046\cdot 4-4.0777\right)\right)}}=0.87}$

В этой таблице показана вероятность сдачи экзамена для нескольких значений часов обучения.

Результат анализа логистической регрессии дает p-значение , которое основано на z-балле Вальда. Вместо метода Wald, рекомендуемый метод ^{[ править ]} , чтобы вычислить значение р для логистической регрессии является тест отношения правдоподобия (ЛРТ), которая для этого данные дают .${\displaystyle p=0.0167}$${\displaystyle p=0.0006}$

Обсуждение [ править ]

Логистическая регрессия может быть биномиальной, порядковой или полиномиальной. Биномиальная или двоичная логистическая регрессия имеет дело с ситуациями, в которых наблюдаемый результат для зависимой переменной может иметь только два возможных типа: «0» и «1» (которые могут представлять, например, «мертвый» против «живого» или «выигрышный». "против" потери "). Полиномиальная логистическая регрессия имеет дело с ситуациями, в которых результат может иметь три или более возможных типа (например, «болезнь A» против «болезни B» против «болезни C»), которые не упорядочены. Порядковая логистическая регрессия имеет дело с упорядоченными зависимыми переменными.

В бинарной логистической регрессии результат обычно кодируется как «0» или «1», поскольку это приводит к наиболее простой интерпретации. ^[15] Если конкретный наблюдаемый результат для зависимой переменной является заслуживающим внимания возможным результатом (называемым «успехом», «экземпляром» или «случаем»), он обычно кодируется как «1», а противоположный результат (упоминается как как «сбой», «неэкземпляр» или «неслучай») как «0». Бинарная логистическая регрессия используется для прогнозирования вероятности возникновения случая на основе значений независимых переменных (предикторов). Шансы определяются как вероятность того, что конкретный исход является случаем, деленный на вероятность того, что это не случай.

Как и другие формы регрессионного анализа , логистическая регрессия использует одну или несколько переменных-предикторов, которые могут быть непрерывными или категориальными. Однако, в отличие от обычной линейной регрессии, логистическая регрессия используется для прогнозирования зависимых переменных, которые принимают участие в одной из ограниченного числа категорий (рассматривая зависимую переменную в биномиальном случае как результат испытания Бернулли).), а не непрерывный результат. Учитывая эту разницу, предположения линейной регрессии нарушаются. В частности, остатки не могут быть нормально распределены. Кроме того, линейная регрессия может делать бессмысленные прогнозы для двоичной зависимой переменной. Что необходимо, так это способ преобразования двоичной переменной в непрерывную, которая может принимать любое реальное значение (отрицательное или положительное). Для этого биномиальная логистическая регрессия сначала вычисляет шансы того, что событие произойдет для разных уровней каждой независимой переменной, а затем использует свой логарифм для создания непрерывного критерия как преобразованной версии зависимой переменной. Логарифм шансов - это логит вероятности, логит определяется следующим образом:

${\displaystyle \operatorname {logit} p=\ln {\frac {p}{1-p}}\quad {\text{for }}0<p<1\,.}$

Хотя зависимой переменной в логистической регрессии является Бернулли, логит имеет неограниченный масштаб. ^[15] Логит-функция является функцией связи в обобщенной линейной модели такого рода, т. Е.

${\displaystyle \operatorname {logit} \operatorname {\mathcal {E}} (Y)=\beta _{0}+\beta _{1}x}$

Y - распределенная по Бернулли переменная отклика, а x - переменная-предиктор; в & beta ; значения являются линейными параметрами.

Затем логит вероятности успеха подбирается для предикторов. Прогнозируемое значение логита преобразуется обратно в прогнозируемые шансы с помощью функции, обратной натуральному логарифму - экспоненциальной функции . Таким образом, хотя наблюдаемая зависимая переменная в двоичной логистической регрессии представляет собой переменную 0 или 1, логистическая регрессия оценивает шансы, как непрерывную переменную, того, что зависимая переменная является «успехом». В некоторых приложениях все, что нужно, - это ставки. В других случаях требуется конкретный прогноз типа «да» или «нет» для определения того, является ли зависимая переменная «успешной»; это категориальное предсказание может быть основано на вычисленных шансах на успех, при этом предсказанные шансы выше некоторого выбранного значения отсечения переводятся в предсказание успеха.

Предположение о линейных предсказательных эффектах может быть легко ослаблено с помощью таких методов, как сплайн-функции . ^[16]

Логистическая регрессия по сравнению с другими подходами [ править ]

Логистическая регрессия измеряет взаимосвязь между категориальной зависимой переменной и одной или несколькими независимыми переменными путем оценки вероятностей с использованием логистической функции , которая является кумулятивной функцией распределения логистического распределения . Таким образом, он обрабатывает тот же набор проблем, что и пробит-регрессия, с использованием аналогичных методов, причем последний использует вместо этого кумулятивную кривую нормального распределения. Эквивалентно, в интерпретации скрытых переменных этих двух методов, первый предполагает стандартное логистическое распределение ошибок, а второй - стандартное нормальное распределение ошибок. ^[17]

Логистическую регрессию можно рассматривать как частный случай обобщенной линейной модели и, следовательно, аналог линейной регрессии . Однако модель логистической регрессии основана на совершенно иных предположениях (о взаимосвязи между зависимыми и независимыми переменными) от предположений линейной регрессии. В частности, ключевые различия между этими двумя моделями можно увидеть в следующих двух особенностях логистической регрессии. Во-первых, условное распределение - это распределение Бернулли, а не гауссово распределение , поскольку зависимая переменная является двоичной. Во-вторых, прогнозируемые значения являются вероятностями и поэтому ограничиваются (0,1) с помощью функции логистического распределения.${\displaystyle y\mid x}$потому что логистическая регрессия предсказывает вероятность конкретных результатов, а не сами результаты.

Логистическая регрессия является альтернативой методу Фишера 1936 года, линейному дискриминантному анализу . ^[18] Если допущения линейного дискриминантного анализа верны, то условия могут быть отменены, чтобы произвести логистическую регрессию. Однако обратное неверно, потому что логистическая регрессия не требует многомерного нормального допущения дискриминантного анализа. ^[19]

Скрытая интерпретация переменных [ править ]

Логистическую регрессию можно понять просто как поиск наиболее подходящих параметров:${\displaystyle \beta }$

${\displaystyle y={\begin{cases}1&\beta _{0}+\beta _{1}x+\varepsilon >0\\0&{\text{else}}\end{cases}}}$

где - ошибка, распределенная стандартным логистическим распределением . (Если вместо этого используется стандартное нормальное распределение, это пробит-модель .)${\displaystyle \varepsilon }$

Связанная скрытая переменная . Член ошибки не наблюдается, и поэтому он также является ненаблюдаемым, поэтому называется «скрытым» (наблюдаемые данные являются значениями и ). В отличие от обычной регрессии, однако, параметры не могут быть выражены с помощью какой - либо прямой формулой из и значений в наблюдаемых данных. Вместо этого они должны быть найдены с помощью итеративного процесса поиска, обычно реализуемого программой, которая находит максимум сложного «выражения вероятности», которое является функцией всех наблюдаемых и значений. Подход к оценке объясняется ниже.${\displaystyle y'=\beta _{0}+\beta _{1}x+\varepsilon }$${\displaystyle \varepsilon }$${\displaystyle y'}$${\displaystyle y}$${\displaystyle x}$${\displaystyle \beta }$${\displaystyle y}$${\displaystyle x}$${\displaystyle y}$${\displaystyle x}$

Логистическая функция, шансы, отношение шансов и логит [ править ]

Рисунок 1. Стандартная логистическая функция ; обратите внимание, что для всех .${\displaystyle \sigma (t)}$${\displaystyle \sigma (t)\in (0,1)}$${\displaystyle t}$

Определение логистической функции [ править ]

Объяснение логистической регрессии можно начать с объяснения стандартной логистической функции . Логистическая функция - это сигмовидная функция , которая принимает любой реальный ввод и выводит значение от нуля до единицы. ^[15] Для логита это интерпретируется как получение входных логарифмических шансов и вероятность выхода . Стандартная логистическая функция определяется следующим образом :${\displaystyle t}$${\displaystyle \sigma :\mathbb {R} \rightarrow (0,1)}$

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

График логистической функции на t- интервале (−6,6) показан на рисунке 1.

Предположим, что это линейная функция одной независимой переменной (случай, когда является линейной комбинацией нескольких независимых переменных, рассматривается аналогично). Тогда мы можем выразить это следующим образом:${\displaystyle t}$ ${\displaystyle x}$${\displaystyle t}$${\displaystyle t}$

${\displaystyle t=\beta _{0}+\beta _{1}x}$

А общую логистическую функцию теперь можно записать как:${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

В логистической модели интерпретируется как вероятность того, что зависимая переменная будет равна успеху / случаю, а не неудаче / отсутствию случая. Ясно, что переменные ответа не распределены одинаково: различаются от одной точки данных к другой, хотя они независимы с учетом матрицы проектирования и общих параметров . ^[9]${\displaystyle p(x)}$${\displaystyle Y}$ ${\displaystyle Y_{i}}$${\displaystyle P(Y_{i}=1\mid X)}$${\displaystyle X_{i}}$ ${\displaystyle X}$${\displaystyle \beta }$

Определение обратной логистической функции [ править ]

Теперь мы можем определить функцию logit (логарифм шансов) как обратную стандартной логистической функции. Легко видеть, что он удовлетворяет:${\displaystyle g=\sigma ^{-1}}$

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

и, что то же самое, после возведения в степень обе стороны имеем шансы:

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

Толкование этих условий [ править ]

В приведенных выше уравнениях используются следующие члены:

• ${\displaystyle g}$это функция логита. Уравнение для показывает, что логит (т. Е. Логарифм шансов или натуральный логарифм шансов) эквивалентен выражению линейной регрессии.${\displaystyle g(p(x))}$
• ${\displaystyle \ln }$обозначает натуральный логарифм .
• ${\displaystyle p(x)}$- вероятность того, что зависимая переменная соответствует случаю, при некоторой линейной комбинации предикторов. Формула для показывает, что вероятность того, что зависимая переменная приравнивается к случаю, равна значению логистической функции выражения линейной регрессии. Это важно, поскольку показывает, что значение выражения линейной регрессии может изменяться от отрицательной до положительной бесконечности, и все же после преобразования результирующее выражение для вероятности находится в диапазоне от 0 до 1.${\displaystyle p(x)}$${\displaystyle p(x)}$
• ${\displaystyle \beta _{0}}$является отрезком от уравнения линейной регрессии (значение критерия, когда предиктор равен нулю).
• ${\displaystyle \beta _{1}x}$ - коэффициент регрессии, умноженный на некоторое значение предиктора.
• база обозначает экспоненциальную функцию.${\displaystyle e}$

Определение шансов [ править ]

Шансы зависимой переменной, равной случаю (при некоторой линейной комбинации предикторов), эквивалентны экспоненциальной функции выражения линейной регрессии. Это показывает, как логит служит связующей функцией между вероятностью и выражением линейной регрессии. Учитывая, что логит находится в диапазоне от отрицательной до положительной бесконечности, он обеспечивает адекватный критерий для проведения линейной регрессии, а логит легко конвертируется обратно в шансы. ^[15]${\displaystyle x}$

Итак, мы определяем шансы зависимой переменной, равной случаю (при некоторой линейной комбинации предикторов), следующим образом:${\displaystyle x}$

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

Отношение шансов [ править ]

Для непрерывной независимой переменной отношение шансов можно определить как:

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {F(x+1)}{1-F(x+1)}}\right)}{\left({\frac {F(x)}{1-F(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

Эта экспоненциальная взаимосвязь дает интерпретацию : Шансы умножаются на каждую единицу увеличения x. ^[20]${\displaystyle \beta _{1}}$${\displaystyle e^{\beta _{1}}}$

Для двоичной независимой переменной отношение шансов определяется как где a , b , c и d - ячейки в таблице непредвиденных обстоятельств 2 × 2 . ^[21]${\displaystyle {\frac {ad}{bc}}}$

Несколько независимых переменных [ править ]

Если имеется несколько независимых переменных, приведенное выше выражение можно изменить на . Затем, когда это используется в уравнении, связывающем логарифм шансов успеха со значениями предикторов, линейная регрессия будет множественной регрессией с m пояснителями; все параметры для всех j = 0, 1, 2, ..., m оцениваются.${\displaystyle \beta _{0}+\beta _{1}x}$${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$${\displaystyle \beta _{j}}$

Опять же, более традиционные уравнения:

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

и

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

где обычно .${\displaystyle b=e}$

Подгонка модели [ править ]

Логистическая регрессия - важный алгоритм машинного обучения . Цель состоит в том, чтобы смоделировать вероятность того, что случайная величина будет равна 0 или 1 с учетом экспериментальных данных. ^[22]${\displaystyle Y}$

Рассмотрим функцию обобщенной линейной модели, параметризованную следующим образом :${\displaystyle \theta }$

${\displaystyle h_{\theta }(X)={\frac {1}{1+e^{-\theta ^{T}X}}}=\Pr(Y=1\mid X;\theta )}$

Следовательно,

${\displaystyle \Pr(Y=0\mid X;\theta )=1-h_{\theta }(X)}$

и поскольку мы видим, что это дается формулой. Теперь вычисляем функцию правдоподобия, предполагая, что все наблюдения в выборке независимо распределены по Бернулли,${\displaystyle Y\in \{0,1\}}$${\displaystyle \Pr(y\mid X;\theta )}$${\displaystyle \Pr(y\mid X;\theta )=h_{\theta }(X)^{y}(1-h_{\theta }(X))^{(1-y)}.}$

${\displaystyle {\begin{aligned}L(\theta \mid y;x)&=\Pr(Y\mid X;\theta )\\&=\prod _{i}\Pr(y_{i}\mid x_{i};\theta )\\&=\prod _{i}h_{\theta }(x_{i})^{y_{i}}(1-h_{\theta }(x_{i}))^{(1-y_{i})}\end{aligned}}}$

Обычно логарифмическая вероятность максимальна,

${\displaystyle N^{-1}\log L(\theta \mid y;x)=N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )}$

который максимизируется с помощью методов оптимизации, таких как градиентный спуск .

Если предположить, что пары равномерно взяты из основного распределения, то в пределе большого  N ,${\displaystyle (x,y)}$

${\displaystyle {\begin{aligned}&\lim \limits _{N\rightarrow +\infty }N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\log \Pr(Y=y\mid X=x;\theta )\\[6pt]={}&\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\left(-\log {\frac {\Pr(Y=y\mid X=x)}{\Pr(Y=y\mid X=x;\theta )}}+\log \Pr(Y=y\mid X=x)\right)\\[6pt]={}&-D_{\text{KL}}(Y\parallel Y_{\theta })-H(Y\mid X)\end{aligned}}}$

где это условная энтропия и является Кульбак-Либлер дивергенции . Это приводит к интуиции, что, максимизируя логарифмическую вероятность модели, вы сводите к минимуму отклонение KL вашей модели от максимального распределения энтропии. Интуитивно ищите модель, которая делает наименьшее количество предположений в своих параметрах.${\displaystyle H(Y\mid X)}$${\displaystyle D_{\text{KL}}}$

«Правило десяти» [ править ]

Широко используемое эмпирическое правило, « правило одного из десяти », гласит, что модели логистической регрессии дают стабильные значения для независимых переменных, если они основаны как минимум на примерно 10 событиях на объясняющую переменную (EPV); где событие обозначает случаи, относящиеся к менее частой категории в зависимой переменной. Таким образом, исследование, предназначенное для использования объясняющих переменных для события (например, инфаркта миокарда ), которое, как ожидается, произойдет у части участников исследования, потребует всего участников. Тем не менее, есть серьезные споры о надежности этого правила, которое основано на исследованиях моделирования и не имеет надежного теоретического обоснования. ^[23] По мнению некоторых авторов${\displaystyle k}$${\displaystyle p}$${\displaystyle 10k/p}$^[24] правило слишком консервативное, некоторые обстоятельства; при этом авторы заявляют: «Если мы (несколько субъективно) считаем охват доверительного интервала менее 93 процентов, ошибку типа I более 7 процентов или относительную систематическую ошибку более 15 процентов как проблемные, наши результаты показывают, что проблемы довольно часты с 2–4 EPV, редко встречается при 5–9 EPV и все еще наблюдается при 10–16 EPV. Наихудшие случаи каждой проблемы не были серьезными при 5–9 EPV и обычно сопоставимы с таковыми при 10–16 EPV ». ^[25]

Другие получили результаты, которые не согласуются с вышеизложенным, с использованием других критериев. Полезный критерий заключается в том, будет ли подобранная модель обеспечивать в новой выборке ту же прогностическую дискриминацию, которую она достигла в образце для разработки модели. Для этого критерия может потребоваться 20 событий для каждой переменной-кандидата. ^[26] Кроме того, можно утверждать, что 96 наблюдений необходимы только для оценки точки пересечения модели с достаточной точностью, чтобы предел ошибки в предсказанных вероятностях составлял ± 0,1 при уровне достоверности 0,95. ^[16]

Оценка максимального правдоподобия (MLE) [ править ]

Коэффициенты регрессии обычно оцениваются с использованием оценки максимального правдоподобия . ^{[27] [28]} В отличие от линейной регрессии с нормально распределенными остатками, невозможно найти выражение в замкнутой форме для значений коэффициентов, которые максимизируют функцию правдоподобия, поэтому вместо этого следует использовать итерационный процесс; например метод Ньютона . Этот процесс начинается с предварительного решения, его немного изменяют, чтобы посмотреть, можно ли его улучшить, и повторяют это изменение до тех пор, пока улучшения не прекратятся, после чего процесс считается сходимым. ^[27]

В некоторых случаях модель может не достичь сходимости. Несходимость модели указывает на то, что коэффициенты не имеют смысла, поскольку итерационный процесс не смог найти подходящие решения. Неспособность сойтись может произойти по ряду причин: большое отношение предикторов к случаям, мультиколлинеарность , разреженность или полное разделение .

• Большое отношение переменных к наблюдениям приводит к чрезмерно консервативной статистике Вальда (обсуждается ниже) и может привести к несходимости. Регуляризованная логистическая регрессия специально предназначена для использования в этой ситуации.
• Мультиколлинеарность означает недопустимо высокие корреляции между предикторами. По мере увеличения мультиколлинеарности коэффициенты остаются несмещенными, но увеличиваются стандартные ошибки и уменьшается вероятность сходимости модели. ^[27] Чтобы обнаружить мультиколлинеарность среди предикторов, можно провести линейный регрессионный анализ с интересующими предикторами с единственной целью изучения статистики толерантности ^[27], используемой для оценки того, является ли мультиколлинеарность неприемлемо высокой.
• Разреженность данных означает наличие большой доли пустых ячеек (ячеек с нулевым счетчиком). Нулевое количество ячеек особенно проблематично для категориальных предикторов. С непрерывными предикторами модель может вывести значения для нулевого количества ячеек, но это не относится к категориальным предикторам. Модель не будет сходиться с нулевым числом ячеек для категориальных предикторов, потому что натуральный логарифм нуля является неопределенным значением, поэтому окончательное решение модели не может быть достигнуто. Чтобы решить эту проблему, исследователи могут свернуть категории теоретически значимым образом или добавить константу ко всем ячейкам. ^[27]
• Другой числовой проблемой, которая может привести к отсутствию сходимости, является полное разделение, которое относится к случаю, когда предикторы идеально предсказывают критерий - все случаи точно классифицируются. В таких случаях следует повторно проверить данные, поскольку, вероятно, есть какая-то ошибка. ^{[15] [ требуется дальнейшее объяснение ]}
• Можно также использовать полупараметрический или непараметрический подходы, например, с помощью методов локального правдоподобия или непараметрических методов квази-правдоподобия, которые избегают предположений о параметрической форме для индексной функции и устойчивы к выбору функции связи (например, пробит или логит). ^[29]

Функция потери кросс-энтропии [ править ]

В приложениях машинного обучения, где для двоичной классификации используется логистическая регрессия, MLE минимизирует функцию кросс-энтропийных потерь.

Метод наименьших квадратов с итеративным перевесом (IRLS) [ править ]

Двоичный логистической регрессии ( или ) может, например, быть рассчитаны с использованием итеративного reweighted наименьших квадратов (IRLS), что эквивалентно максимизации журнала правдоподобия в виде распределенного Бернулли процесса с использованием метода Ньютона . Если задача записана в форме векторной матрицы с параметрами , независимыми переменными и математическим ожиданием распределения Бернулли , параметры можно найти с помощью следующего итерационного алгоритма:${\displaystyle y=0}$${\displaystyle y=1}$${\displaystyle \mathbf {w} ^{T}=[\beta _{0},\beta _{1},\beta _{2},\ldots ]}$${\displaystyle \mathbf {x} (i)=[1,x_{1}(i),x_{2}(i),\ldots ]^{T}}$${\displaystyle \mu (i)={\frac {1}{1+e^{-\mathbf {w} ^{T}\mathbf {x} (i)}}}}$${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{k+1}=\left(\mathbf {X} ^{T}\mathbf {S} _{k}\mathbf {X} \right)^{-1}\mathbf {X} ^{T}\left(\mathbf {S} _{k}\mathbf {X} \mathbf {w} _{k}+\mathbf {y} -\mathbf {\boldsymbol {\mu }} _{k}\right)}$

где - диагональная матрица весов, вектор ожидаемых значений,${\displaystyle \mathbf {S} =\operatorname {diag} (\mu (i)(1-\mu (i)))}$${\displaystyle {\boldsymbol {\mu }}=[\mu (1),\mu (2),\ldots ]}$

${\displaystyle \mathbf {X} ={\begin{bmatrix}1&x_{1}(1)&x_{2}(1)&\ldots \\1&x_{1}(2)&x_{2}(2)&\ldots \\\vdots &\vdots &\vdots \end{bmatrix}}}$

Матрица регрессора и вектор переменных ответа. Более подробную информацию можно найти в литературе. ^[30]${\displaystyle \mathbf {y} (i)=[y(1),y(2),\ldots ]^{T}}$

Оценка степени соответствия [ править ]

Степень соответствия в моделях линейной регрессии обычно измеряется с помощью R 2 . Поскольку у этого нет прямого аналога в логистической регрессии, вместо него можно использовать различные методы ^{[31] : глава 21,} включая следующие.

Тесты на отклонение и отношение правдоподобия [ править ]

В линейном регрессионном анализе речь идет о разделении дисперсии посредством вычислений суммы квадратов - дисперсия критерия по существу делится на дисперсию, учитываемую предикторами, и остаточную дисперсию. В анализе логистической регрессии вместо вычисления суммы квадратов используется отклонение . ^[32] Отклонение аналогично вычислению суммы квадратов в линейной регрессии ^[15] и является мерой отсутствия соответствия данным в модели логистической регрессии. ^[32] Когда доступна «насыщенная» модель (модель с теоретически идеальным соответствием), отклонение рассчитывается путем сравнения данной модели с насыщенной моделью. ^[15] Это вычисление даеткритерий отношения правдоподобия : ^[15]

${\displaystyle D=-2\ln {\frac {\text{likelihood of the fitted model}}{\text{likelihood of the saturated model}}}.}$

В приведенном выше уравнении D представляет отклонение, а ln представляет собой натуральный логарифм. Логарифм этого отношения правдоподобия (отношение подобранной модели к насыщенной модели) даст отрицательное значение, следовательно, потребуется отрицательный знак. Можно показать, что D следует приблизительному распределению хи-квадрат . ^[15] Меньшие значения указывают на лучшее соответствие, поскольку подобранная модель меньше отклоняется от насыщенной модели. При оценке по распределению хи-квадрат незначительные значения хи-квадрат указывают на очень небольшую необъяснимую дисперсию и, следовательно, на хорошее соответствие модели. И наоборот, значительное значение хи-квадрат указывает на то, что значительная величина дисперсии необъяснима.

Когда насыщенная модель недоступна (общий случай), отклонение рассчитывается просто как −2 · (логарифмическая вероятность подобранной модели), и ссылка на логарифмическую вероятность насыщенной модели может быть без вреда для всех последующих.

В логистической регрессии особенно важны два показателя отклонения: нулевое отклонение и отклонение модели. Нулевое отклонение представляет собой разницу между моделью только с точкой пересечения (что означает «без предикторов») и насыщенной моделью. Отклонение модели представляет собой разницу между моделью с хотя бы одним предиктором и насыщенной моделью. ^[32] В этом отношении нулевая модель обеспечивает основу для сравнения моделей предикторов. Учитывая, что отклонение является мерой разницы между данной моделью и насыщенной моделью, меньшие значения указывают на лучшее соответствие. Таким образом, чтобы оценить вклад предиктора или набора предикторов, можно вычесть отклонение модели из нулевого отклонения и оценить разницу в распределении хи-квадрат с помощью${\displaystyle \chi _{s-p}^{2},}$степеней свободы ^[15], равных разнице в количестве оцениваемых параметров.

Позволять

${\displaystyle {\begin{aligned}D_{\text{null}}&=-2\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\\[6pt]D_{\text{fitted}}&=-2\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}.\end{aligned}}}$

Тогда разница обоих:

${\displaystyle {\begin{aligned}D_{\text{null}}-D_{\text{fitted}}&=-2\left(\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}-\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)\\[6pt]&=-2\ln {\frac {\left({\dfrac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\right)}{\left({\dfrac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)}}\\[6pt]&=-2\ln {\frac {\text{likelihood of the null model}}{\text{likelihood of fitted model}}}.\end{aligned}}}$

Если отклонение модели значительно меньше нулевого отклонения, то можно сделать вывод, что предиктор или набор предикторов значительно улучшили соответствие модели. Это аналогично F- критерию, используемому в линейном регрессионном анализе для оценки значимости прогноза. ^[32]

Псевдо-R-квадрат [ править ]

В линейной регрессии квадрата множественная корреляция, R ² используется для оценить степень согласия , поскольку он представляет долю дисперсии в критерии , что объясняется предсказателями. ^[32] В логистическом регрессионном анализе нет согласованной аналогичной меры, но есть несколько конкурирующих мер, каждая из которых имеет ограничения. ^{[32] [33]}

На этой странице рассматриваются четыре наиболее часто используемых индекса и один менее часто используемый:

• Отношение правдоподобия R ² _L
• Кокс и Снелл R ² _CS
• Nagelkerke R ² _N
• Макфэдден R ² _McF
• Тюр Р ² _Т

R ² _L дан Коэном: ^[32]

${\displaystyle R_{\text{L}}^{2}={\frac {D_{\text{null}}-D_{\text{fitted}}}{D_{\text{null}}}}.}$

Это наиболее аналогичный показатель квадрату множественных корреляций в линейной регрессии. ^[27] Он представляет собой пропорциональное уменьшение отклонения, при этом отклонение рассматривается как мера отклонения, аналогичная, но не идентичная дисперсии в линейном регрессионном анализе. ^[27] Одним из ограничений отношения правдоподобия R ² является то , что она не монотонно связана с отношением шансов, ^[32] означает , что она не обязательно возрастает по мере увеличения отношения шансов и не обязательно уменьшается по мере шансы соотношение уменьшается.

R ² _CS является альтернативным показателем СОГЛАСИЯ , связанным с ¨R ² значения от линейной регрессии. ^[33] Это дает:

${\displaystyle {\begin{aligned}R_{\text{CS}}^{2}&=1-\left({\frac {L_{0}}{L_{M}}}\right)^{2/n}\\[5pt]&=1-e^{2(\ln(L_{0})-\ln(L_{M}))/n}\end{aligned}}}$

где L _M и {{mvar | L ₀ } - вероятности для аппроксимируемой модели и нулевой модели соответственно. Индекс Кокса и Снелла проблематичен из-за его максимального значения . Максимальное значение этого верхнего предела может составлять 0,75, но оно может легко достигать 0,48, когда предельная доля случаев мала. ^[33]${\displaystyle 1-L_{0}^{2/n}}$

R ² _N обеспечивает поправку к R ² Кокса и Снеллиуса, так что максимальное значение равно 1. Тем не менее, отношения Кокса и Снеллиуса и отношение правдоподобия R ²s показывают большее соответствие друг с другом, чем любой из них с R ² Нагелькерке . ^[32] Конечно, это может быть не так для значений, превышающих 0,75, поскольку индекс Кокса и Снелла ограничен этим значением. Отношение правдоподобия R ² часто предпочитают альтернативы , как это наиболее аналогично R ² в линейной регрессии , не зависит от базовой скорости (как Кокс и Снелл и Nagelkerke R²s увеличивается при увеличении доли случаев от 0 до 0,5) и изменяется от 0 до 1.

R ² _McF определяется как

${\displaystyle R_{\text{McF}}^{2}=1-{\frac {\ln(L_{M})}{\ln(L_{0})}},}$

и предпочтительнее , чем R ² _CS по Allison. ^[33] Два выражения R ² _McF и R ² _CS связаны соответственно соотношением

${\displaystyle {\begin{matrix}R_{\text{CS}}^{2}=1-\left({\dfrac {1}{L_{0}}}\right)^{\frac {2(R_{\text{McF}}^{2})}{n}}\\[1.5em]R_{\text{McF}}^{2}=-{\dfrac {n}{2}}\cdot {\dfrac {\ln(1-R_{\text{CS}}^{2})}{\ln L_{0}}}\end{matrix}}}$

Тем не менее, в настоящее время Эллисон предпочитает R ² _Т , которая является относительно новой мерой , разработанная Tjur. ^[34] Его можно рассчитать в два этапа: ^[33]

1. Для каждого уровня зависимой переменной найдите среднее значение прогнозируемых вероятностей события.
2. Возьмите абсолютное значение разности этих средних значений.

Слово предостережения в порядке при интерпретации псев- R ² статистики. Причина этих индексы приступа называют псевдо R ² является то , что они не представляют собой снижение пропорционального по ошибке как R ² в линейной регрессия делает. ^[32] Линейная регрессия предполагает гомоскедастичность , то есть дисперсия ошибки одинакова для всех значений критерия. Логистическая регрессия всегда будет гетероскедастической - дисперсия ошибок различается для каждого значения прогнозируемой оценки. Для каждого значения прогнозируемой оценки будет свое значение пропорционального уменьшения ошибки. Поэтому думать о R² как пропорциональное уменьшение ошибки в универсальном смысле логистической регрессии. ^[32]

Тест Хосмера – Лемешоу [ править ]

Тест Хосмер-Lemeshow использует тестовую статистику , что асимптотически следует за распределением , чтобы оценить , является ли или не соответствовать ожидаемым темпам событий в подгруппах модельной популяции наблюдаемая частоты событий. Некоторые статистики считают этот тест устаревшим из-за его зависимости от произвольного объединения предсказанных вероятностей и относительно низкой мощности. ^[35] χ 2 {\displaystyle \chi ^{2}}

Коэффициенты [ править ]

После подбора модели вполне вероятно, что исследователи захотят изучить вклад отдельных предикторов. Для этого они захотят изучить коэффициенты регрессии. В линейной регрессии коэффициенты регрессии представляют собой изменение критерия для каждого изменения единицы в предикторе. ^[32] В логистической регрессии, однако, коэффициенты регрессии представляют изменение логита для каждого изменения единицы в предикторе. Учитывая, что логит не является интуитивно понятным, исследователи, вероятно, сосредоточатся на влиянии предсказателя на экспоненциальную функцию коэффициента регрессии - отношения шансов (см. Определение ). В линейной регрессии значимость коэффициента регрессии оценивается путем вычисления tтест. В логистической регрессии существует несколько различных тестов, предназначенных для оценки значимости отдельного предиктора, в первую очередь тест отношения правдоподобия и статистика Вальда.

Тест отношения правдоподобия [ править ]

Рассмотренный выше тест отношения правдоподобия для оценки соответствия модели также является рекомендуемой процедурой для оценки вклада отдельных «предикторов» в данную модель. ^{[15] [27] [32]}В случае модели с одним предиктором, просто сравнивают отклонение модели предиктора с отклонением от нулевой модели на распределении хи-квадрат с одной степенью свободы. Если модель предиктора имеет значительно меньшее отклонение (ср. Хи-квадрат с использованием разницы в степенях свободы двух моделей), то можно сделать вывод, что существует значительная связь между "предиктором" и результатом. Хотя некоторые общие статистические пакеты (например, SPSS) предоставляют статистику теста отношения правдоподобия, без этого требовательного к вычислительным ресурсам теста было бы труднее оценить вклад отдельных предикторов в случае множественной логистической регрессии. ^{[ необходима цитата ]}Чтобы оценить вклад отдельных предикторов, можно ввести предикторы иерархически, сравнивая каждую новую модель с предыдущей, чтобы определить вклад каждого предиктора. ^[32] Статистики спорят о целесообразности так называемых «пошаговых» процедур. ^{[ ласковые слова ]} Есть опасения, что они могут не сохранить номинальные статистические свойства и могут ввести в заблуждение. ^[36]

Статистика Вальда [ править ]

В качестве альтернативы, при оценке вклада отдельных предикторов в данную модель, можно исследовать значимость статистики Вальда . Статистика Вальда, аналогичная t- критерию линейной регрессии, используется для оценки значимости коэффициентов. Статистика Вальда представляет собой отношение квадрата коэффициента регрессии к квадрату стандартной ошибки коэффициента и асимптотически распределяется как распределение хи-квадрат. ^[27]

${\displaystyle W_{j}={\frac {\beta _{j}^{2}}{SE_{\beta _{j}}^{2}}}}$

Хотя несколько статистических пакетов (например, SPSS, SAS) сообщают статистику Вальда для оценки вклада отдельных предикторов, статистика Вальда имеет ограничения. Когда коэффициент регрессии велик, стандартная ошибка коэффициента регрессии также имеет тенденцию быть больше, увеличивая вероятность ошибки типа II . Статистика Вальда также имеет тенденцию быть необъективной, когда данные скудны. ^[32]

Выборка случай-контроль [ править ]

Допустим, случаи редкие. Тогда мы могли бы пожелать отбирать их чаще, чем их распространенность в популяции. Например, предположим, что есть заболевание, которым страдает 1 человек из 10 000, и для сбора данных нам необходимо пройти полное обследование. Проведение тысяч медицинских осмотров здоровых людей для получения данных только по нескольким больным может оказаться слишком дорогостоящим. Таким образом, мы можем оценить большее количество больных, возможно, все редкие исходы. Это тоже ретроспективная выборка или, что то же самое, несбалансированные данные. Как показывает практика, выборка элементов управления, в пять раз превышающих количество наблюдений, дает достаточные данные управления. ^[37]

Логистическая регрессия уникальна тем, что она может быть оценена на несбалансированных данных, а не на случайно выбранных данных, и при этом дает правильные оценки коэффициентов влияния каждой независимой переменной на результат. То есть, если мы сформируем логистическую модель из таких данных, если модель верна в общей популяции, все параметры верны, за исключением . Мы можем исправить это, если знаем истинную распространенность следующим образом: ^[37]${\displaystyle \beta _{j}}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{0}}$

${\displaystyle {\widehat {\beta }}_{0}^{*}={\widehat {\beta }}_{0}+\log {\frac {\pi }{1-\pi }}-\log {{\tilde {\pi }} \over {1-{\tilde {\pi }}}}}$

где - истинная распространенность, а - распространенность в выборке.${\displaystyle \pi }$${\displaystyle {\tilde {\pi }}}$

Формальная математическая спецификация [ править ]

Существуют различные эквивалентные спецификации логистической регрессии, которые вписываются в различные типы более общих моделей. Эти разные спецификации позволяют делать разные полезные обобщения.

Настройка [ править ]

Базовая настройка логистической регрессии выглядит следующим образом. Нам дан набор данных, содержащий N точек. Каждая точка i состоит из набора из m входных переменных x _{1, i} ... x _{m, i} (также называемых независимыми переменными , переменными-предикторами, функциями или атрибутами) и двоичной выходной переменной Y _i (также известной как зависимая переменная). Переменная, переменная ответа, выходная переменная или класс), то есть он может принимать только два возможных значения: 0 (часто означает «нет» или «сбой») или 1 (часто означает «да» или «успех»). Целью логистической регрессии является использование набора данных для создания модели прогнозирования переменной результата.

Некоторые примеры:

• Наблюдаемые результаты - это наличие или отсутствие данного заболевания (например, диабета) у группы пациентов, а объясняющими переменными могут быть характеристики пациентов, которые считаются подходящими (пол, раса, возраст, артериальное давление , индекс массы тела. , так далее.).
• Наблюдаемые результаты - это голоса (например, демократов или республиканцев ) группы людей на выборах, а объясняющие переменные - демографические характеристики каждого человека (например, пол, раса, возраст, доход и т. Д.). В таком случае один из двух результатов произвольно кодируется как 1, а другой как 0.

Как и в линейной регрессии, предполагается , что переменные результата Y _i зависят от объясняющих переменных x _{1, i} ... x _{m, i} .

Объясняющие переменные

Как показано выше в приведенных выше примерах, объясняющие переменные могут быть любого типа : действительные , бинарные , категориальные и т. Д. Основное различие заключается между непрерывными переменными (такими как доход, возраст и артериальное давление ) и дискретными переменными (такими как пол или раса). Дискретные переменные, относящиеся к более чем двум возможным вариантам выбора, обычно кодируются с использованием фиктивных переменных (или индикаторных переменных).), то есть отдельные независимые переменные, принимающие значение 0 или 1, создаются для каждого возможного значения дискретной переменной, где 1 означает «переменная имеет данное значение», а 0 означает «переменная не имеет этого значения».

Например, четырехсторонняя дискретная переменная группы крови с возможными значениями «A, B, AB, O» может быть преобразована в четыре отдельных двусторонних фиктивных переменных «is-A, is-B, is-AB, is-O ", где только один из них имеет значение 1, а все остальные имеют значение 0. Это позволяет сопоставить отдельные коэффициенты регрессии для каждого возможного значения дискретной переменной. (В таком случае только три из четырех фиктивных переменных независимы друг от друга в том смысле, что, как только значения трех переменных известны, четвертая определяется автоматически. Таким образом, необходимо кодировать только три из четырех возможностей в качестве фиктивных переменных. Это также означает, что когда все четыре возможности закодированы, общая модель не поддается идентификациипри отсутствии дополнительных ограничений, таких как ограничение регуляризации. Теоретически это может вызвать проблемы, но на самом деле почти все модели логистической регрессии имеют ограничения регуляризации.)

Переменные результата

Формально результаты Y _i описываются как данные, распределенные по Бернулли , где каждый результат определяется ненаблюдаемой вероятностью p _i, которая специфична для данного результата, но связана с независимыми переменными. Это может быть выражено в любой из следующих эквивалентных форм:

${\displaystyle {\begin{aligned}Y_{i}\mid x_{1,i},\ldots ,x_{m,i}\ &\sim \operatorname {Bernoulli} (p_{i})\\\operatorname {\mathcal {E}} [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}]&=p_{i}\\\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&={\begin{cases}p_{i}&{\text{if }}y=1\\1-p_{i}&{\text{if }}y=0\end{cases}}\\\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&=p_{i}^{y}(1-p_{i})^{(1-y)}\end{aligned}}}$

Значения этих четырех строк:

1. Первая строка выражает распределение вероятностей каждого Y _i : при условии независимых переменных, оно следует распределению Бернулли с параметрами p _i , вероятностью результата 1 для испытания i . Как отмечалось выше, каждое отдельное испытание имеет собственную вероятность успеха, так же как каждое испытание имеет свои собственные объясняющие переменные. Вероятность успеха p _i не наблюдается, только результат отдельного испытания Бернулли с использованием этой вероятности.
2. Вторая строка выражает тот факт, что ожидаемое значение каждого Y _i равно вероятности успеха p _i , что является общим свойством распределения Бернулли. Другими словами, если мы проведем большое количество испытаний Бернулли с одинаковой вероятностью успеха p _i , а затем возьмем среднее значение для всех исходов 1 и 0, то результат будет близок к p _i . Это связано с тем, что вычисление среднего таким образом просто вычисляет долю увиденных успехов, которые, как мы ожидаем, сойдутся с основной вероятностью успеха.
3. В третьей строке записана функция массы вероятности распределения Бернулли с указанием вероятности увидеть каждый из двух возможных результатов.
4. Четвертая строка - это еще один способ записи функции массы вероятности, который позволяет избежать написания отдельных случаев и более удобен для определенных типов вычислений. Это основано на том факте, что Y _i может принимать только значение 0 или 1. В каждом случае один из показателей будет равен 1, «выбирая» значение под ним, а другой - 0, «отменяя» значение под Это. Следовательно, результат будет либо p _i, либо 1 -  p _i , как в предыдущей строке.

Линейная функция предиктора

Основная идея логистической регрессии заключается в использовании механизма, уже разработанного для линейной регрессии, путем моделирования вероятности p _i с использованием функции линейного предиктора , то есть линейной комбинации независимых переменных и набора коэффициентов регрессии , специфичных для данной модели. но то же самое для всех испытаний. Функция линейного предсказания для конкретной точки данных i записывается как:${\displaystyle f(i)}$

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i},}$

где - коэффициенты регрессии, показывающие относительное влияние конкретной объясняющей переменной на результат.${\displaystyle \beta _{0},\ldots ,\beta _{m}}$

Модель обычно принимают в более компактном виде:

• Коэффициенты регрессии β ₀ , β ₁ , ..., β _m сгруппированы в один вектор β размера m  + 1.
• Для каждой точки данных I , дополнительный пояснительный псевдо-переменную х _{0, я} добавляется, с фиксированным значением 1, что соответствует перехватывают коэффициента & beta ; ₀ .
• Результирующие объясняющие переменные x _{0, i} , x _{1, i} , ..., x _{m, i} затем группируются в один вектор X _i размера m  + 1.

Это позволяет записать функцию линейного предсказания следующим образом:

${\displaystyle f(i)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i},}$

с использованием обозначения для скалярного произведения между двумя векторами.

Как обобщенная линейная модель [ править ]

Конкретная модель, используемая логистической регрессией, которая отличает ее от стандартной линейной регрессии и от других типов регрессионного анализа, используемых для бинарных результатов, - это способ, которым вероятность конкретного результата связана с функцией линейного предиктора:

${\displaystyle \operatorname {logit} (\operatorname {\mathcal {E}} [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

Написано с использованием более компактных обозначений, описанных выше, это:

${\displaystyle \operatorname {logit} (\operatorname {\mathcal {E}} [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

Эта формулировка выражает логистическую регрессию как тип обобщенной линейной модели , которая предсказывает переменные с различными типами распределений вероятностей путем подгонки линейной функции-предиктора указанной выше формы к некоторому произвольному преобразованию ожидаемого значения переменной.

Интуиция для преобразования с использованием функции логита (натуральный логарифм шансов) объяснялась выше. Он также имеет практический эффект преобразования вероятности (которая ограничена значением от 0 до 1) в переменную, которая находится в пределах диапазона, тем самым согласовывая потенциальный диапазон функции линейного прогнозирования в правой части уравнения.${\displaystyle (-\infty ,+\infty )}$

Обратите внимание, что как вероятности p _{i, так} и коэффициенты регрессии не наблюдаются, и средства их определения не являются частью самой модели. Как правило, они определяются с помощью какой-либо процедуры оптимизации, например, оценки максимального правдоподобия , которая находит значения, которые лучше всего соответствуют наблюдаемым данным (т. Е. Дают наиболее точные прогнозы для уже наблюдаемых данных), обычно с учетом условий регуляризации, которые стремятся исключить маловероятные данные. значения, например чрезвычайно большие значения для любого из коэффициентов регрессии. Использование условия регуляризации эквивалентно максимальной апостериорной оценке (MAP), расширению максимального правдоподобия. (Регуляризация чаще всего выполняется с помощьювозведенная в квадрат регуляризирующая функция , которая эквивалентна помещению гауссовского априорного распределения с нулевым средним для коэффициентов, но также возможны другие регуляризаторы.) Независимо от того, используется ли регуляризация, обычно невозможно найти решение в замкнутой форме; вместо этого должен использоваться итерационный численный метод, такой как метод наименьших квадратов с итеративным пересмотром взвешенных значений (IRLS) или, что чаще в наши дни, квазиньютоновский метод, такой как метод L-BFGS . ^[38]

Интерпретация оценок параметра β _j заключается в аддитивном влиянии на логарифм шансов для единичного изменения объясняющей переменной j . В случае дихотомической объясняющей переменной, например, пол - это оценка шансов получить результат, скажем, для мужчин по сравнению с женщинами.${\displaystyle e^{\beta }}$

Эквивалентная формула использует обратную функцию логита, которая является логистической функцией , то есть:

${\displaystyle \operatorname {\mathcal {E}} [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

Формулу также можно записать как распределение вероятностей (в частности, используя функцию массы вероятностей ):

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

Как модель со скрытыми переменными [ править ]

Вышеупомянутая модель имеет эквивалентную формулировку как модель со скрытыми переменными . Эта формулировка является общей в теории моделей дискретного выбора и упрощает ее распространение на определенные более сложные модели с множественными коррелированными вариантами выбора, а также сравнение логистической регрессии с тесно связанной пробит-моделью .

Представьте, что для каждого испытания i существует непрерывная скрытая переменная Y _i ^* (т. Е. Ненаблюдаемая случайная величина ), которая распределяется следующим образом:

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon \,}$

куда

${\displaystyle \varepsilon \sim \operatorname {Logistic} (0,1)\,}$

т.е. скрытая переменная может быть записана непосредственно в терминах функции линейного предсказания и переменной случайной аддитивной ошибки, которая распределяется согласно стандартному логистическому распределению .

Тогда Y _i можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}-\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

Выбор моделирования переменной ошибки специально со стандартным логистическим распределением, а не с общим логистическим распределением с местоположением и масштабом, установленными на произвольные значения, кажется ограничительным, но на самом деле это не так. Следует иметь в виду, что мы можем сами выбирать коэффициенты регрессии и очень часто можем использовать их для компенсации изменений параметров распределения переменной ошибки. Например, распределение переменной логистической ошибки с ненулевым параметром местоположения μ (который устанавливает среднее значение) эквивалентно распределению с нулевым параметром местоположения, где μ добавлен к коэффициенту пересечения. Обе ситуации дают одинаковое значение для Y _i ^*независимо от настроек объясняющих переменных. Точно так же произвольный параметр масштабирования s эквивалентен установке параметра масштабирования на 1 и последующему делению всех коэффициентов регрессии на s . В последнем случае результирующее значение Y _i ^* будет в s раз меньше, чем в первом случае, для всех наборов объясняющих переменных, но, что важно, оно всегда будет оставаться на той же стороне от 0 и, следовательно, приведет к к тому же Y _я выбор.

(Обратите внимание, что это предсказывает, что несоответствие параметра масштаба не может быть перенесено на более сложные модели, где доступно более двух вариантов.)

Оказывается, эта формулировка в точности эквивалентна предыдущей, сформулированная в терминах обобщенной линейной модели и без каких-либо скрытых переменных . Это можно показать следующим образом, используя тот факт, что кумулятивная функция распределения (CDF) стандартного логистического распределения является логистической функцией , которая является обратной функцией логита , т. Е.

${\displaystyle \Pr(\varepsilon <x)=\operatorname {logit} ^{-1}(x)}$

Потом:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)\\[5pt]&=\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

Эта формулировка - стандартная для моделей дискретного выбора - проясняет взаимосвязь между логистической регрессией («логит-модель») и пробит-моделью , которая использует переменную ошибки, распределенную согласно стандартному нормальному распределению вместо стандартного логистического распределения. Как логистическое, так и нормальное распределения симметричны базовой унимодальной форме «колоколообразной кривой». Единственное отличие состоит в том, что логистическое распределение имеет несколько более тяжелые хвосты , что означает, что оно менее чувствительно к внешним данным (и, следовательно, несколько более устойчиво к моделированию неверных спецификаций или ошибочных данных).

Двусторонняя модель скрытых переменных [ править ]

Еще одна формулировка использует две отдельные скрытые переменные:

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

куда

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

где EV ₁ (0,1) - стандартное распределение экстремальных значений типа 1 : т.е.

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

потом

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

Эта модель имеет отдельную скрытую переменную и отдельный набор коэффициентов регрессии для каждого возможного результата зависимой переменной. Причина этого разделения заключается в том, что это позволяет легко расширить логистическую регрессию на многозначные категориальные переменные, как в полиномиальной логит- модели. В такой модели естественно моделировать каждый возможный результат, используя другой набор коэффициентов регрессии. Также можно мотивировать каждую из отдельных скрытых переменных как теоретическую полезность, связанную с соответствующим выбором, и, таким образом, мотивировать логистическую регрессию с точки зрения теории полезности.. (С точки зрения теории полезности, рациональный субъект всегда выбирает вариант с наибольшей связанной полезностью.) Это подход, используемый экономистами при формулировании моделей дискретного выбора , поскольку он обеспечивает теоретически прочную основу и облегчает интуитивное понимание модели, что в свою очередь, позволяет легко рассматривать различные виды расширений. (См. Пример ниже.)

Выбор распределения экстремальных значений типа 1 кажется довольно произвольным, но он заставляет математику работать, и его использование может быть оправдано с помощью теории рационального выбора .

Оказывается, эта модель эквивалентна предыдущей модели, хотя это кажется неочевидным, поскольку теперь есть два набора коэффициентов регрессии и переменных ошибок, а переменные ошибок имеют другое распределение. Фактически, эта модель непосредственно сводится к предыдущей со следующими заменами:

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

Интуиция к этому исходит из того факта, что, поскольку мы выбираем на основе максимального из двух значений, имеет значение только их разница, а не точные значения - и это эффективно устраняет одну степень свободы . Другой важный факт заключается в том, что разница двух переменных с распределением экстремальных значений типа 1 является логистическим распределением, т.е. мы можем продемонстрировать эквивалент следующим образом:${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

Пример [ править ]

В качестве примера рассмотрим выборы на уровне провинции, где выбор делается между правоцентристской партией, левоцентристской партией и сепаратистской партией (например, Parti Québécois , которая хочет отделения Квебека от Канады ). Затем мы использовали бы три скрытые переменные, по одной для каждого выбора. Затем, в соответствии с теорией полезности , мы можем интерпретировать скрытые переменные как выражающие полезность.это результат каждого выбора. Мы также можем интерпретировать коэффициенты регрессии как показывающие силу, которую связанный фактор (т. Е. Объясняющая переменная) имеет в содействии полезности, или, точнее, количество, на которое изменение единицы в объясняющей переменной изменяет полезность данного выбора. Избиратель может ожидать, что правоцентристская партия снизит налоги, особенно для богатых. Это не дало бы людям с низкими доходами никакой выгоды, то есть никаких изменений в полезности (поскольку они обычно не платят налоги); принесет умеренную выгоду (то есть несколько больше денег или умеренное повышение полезности) для людей среднего уровня; принесет значительные выгоды людям с высоким доходом. С другой стороны,можно ожидать, что левоцентристская партия повысит налоги и компенсирует их повышением благосостояния и другой помощью для нижних и средних классов. Это принесет значительную положительную пользу людям с низким доходом, возможно, слабую пользу людям со средним доходом и значительную отрицательную пользу людям с высокими доходами. Наконец, сепаратистская партия не будет предпринимать никаких прямых действий в отношении экономики, а просто отделится. Избиратель с низким или средним доходом может в основном не ожидать от этого явной выгоды или убытка от полезности, но избиратель с высоким доходом может ожидать отрицательной полезности, поскольку он / она, вероятно, будет владеть компаниями, которым будет труднее вести бизнес. такая среда и, вероятно, потеряете деньги.и значительная отрицательная выгода для людей с высокими доходами. Наконец, сепаратистская партия не будет предпринимать никаких прямых действий в отношении экономики, а просто отделится. Избиратель с низким или средним доходом может в основном не ожидать от этого явной выгоды или убытка от полезности, но избиратель с высоким доходом может ожидать отрицательной полезности, поскольку он / она, вероятно, будет владеть компаниями, которым будет труднее вести бизнес. такая среда и, вероятно, потеряете деньги.и значительная отрицательная выгода для людей с высокими доходами. Наконец, сепаратистская партия не будет предпринимать никаких прямых действий в отношении экономики, а просто отделится. Избиратель с низким или средним доходом может в основном не ожидать от этого явной выгоды или убытка от полезности, но избиратель с высоким доходом может ожидать отрицательной полезности, поскольку он / она, вероятно, будет владеть компаниями, которым будет труднее вести бизнес. такая среда и, вероятно, потеряете деньги.которым будет труднее вести бизнес в такой среде и, вероятно, потерять деньги.которым будет труднее вести бизнес в такой среде и, вероятно, потерять деньги.

Эти интуиции можно выразить следующим образом:

Это ясно показывает, что

1. Для каждого выбора должны существовать отдельные наборы коэффициентов регрессии. Если сформулировать это с точки зрения полезности, это очень легко увидеть. Разные варианты по-разному влияют на чистую полезность; кроме того, эффекты различаются сложным образом, что зависит от характеристик каждого человека, поэтому должны быть отдельные наборы коэффициентов для каждой характеристики, а не просто одна дополнительная характеристика для каждого выбора.
2. Несмотря на то, что доход является непрерывной переменной, его влияние на полезность слишком сложно, чтобы его можно было рассматривать как единственную переменную. Либо его необходимо напрямую разделить на диапазоны, либо необходимо добавить более высокие степени дохода, чтобы эффективно выполнить полиномиальную регрессию дохода.

Как "лог-линейная" модель [ править ]

Еще одна формулировка сочетает описанную выше формулировку двусторонних латентных переменных с исходной формулировкой выше без скрытых переменных и в процессе обеспечивает связь с одной из стандартных формулировок полиномиального логита .

Здесь, вместо того, чтобы записывать логит вероятностей p _i в качестве линейного предиктора, мы разделяем линейный предиктор на два, по одному для каждого из двух результатов:

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

Обратите внимание, что были введены два отдельных набора коэффициентов регрессии, как и в модели двусторонних скрытых переменных, и эти два уравнения представляют собой форму, которая записывает логарифм связанной вероятности в качестве линейного предиктора с дополнительным членом в конце . Этот член, как оказалось, служит нормирующим фактором, гарантирующим, что результат является распределением. Это можно увидеть, возведя в степень обе стороны:${\displaystyle -\ln Z}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

В этой форме ясно, что цель Z - гарантировать, что результирующее распределение по Y _i на самом деле является распределением вероятностей , т. Е. Суммируется с 1. Это означает, что Z - это просто сумма всех ненормированных вероятностей, и путем деления каждой вероятности на Z , вероятности становятся « нормализованными ». То есть:

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

и результирующие уравнения

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

Или вообще:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

Это ясно показывает, как обобщить эту формулировку более чем на два результата, как в полиномиальном логите . Обратите внимание, что эта общая формулировка является в точности функцией softmax, как в

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

Чтобы доказать, что это эквивалентно предыдущей модели, обратите внимание, что указанная выше модель является завышенной и не может быть определена независимо: скорее, знание одной автоматически определяет другую. В результате модель не идентифицируема , поскольку несколько комбинаций β ₀ и β ₁ будут давать одинаковые вероятности для всех возможных объясняющих переменных. Фактически, можно видеть, что добавление любого постоянного вектора к ним обоим даст одинаковые вероятности:${\displaystyle \Pr(Y_{i}=0)}$${\displaystyle \Pr(Y_{i}=1)}$${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

В результате мы можем упростить ситуацию и восстановить идентифицируемость, выбрав произвольное значение для одного из двух векторов. Мы выбираем установить Затем,${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

и так

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

что показывает, что эта формулировка действительно эквивалентна предыдущей формулировке. (Как и в формулировке двусторонней скрытой переменной, любые настройки, при которых будут давать эквивалентные результаты.)${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

Обратите внимание, что большинство трактовок полиномиальной логит- модели начинается либо с расширения «лог-линейной» формулировки, представленной здесь, либо с формулировки двухсторонней латентной переменной, представленной выше, поскольку оба ясно показывают способ расширения модели до многофакторной результаты. В целом представление со скрытыми переменными более распространено в эконометрике и политологии , где господствуют модели дискретного выбора и теория полезности , тогда как «лог-линейная» формулировка здесь более распространена в информатике , например, в машинном обучении и обработке естественного языка .

Как однослойный перцептрон [ править ]

Модель имеет эквивалентную формулировку

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

Эта функциональная форма обычно называется однослойным персептроном или однослойной искусственной нейронной сетью . Однослойная нейронная сеть вычисляет непрерывный вывод вместо пошаговой функции . Производная p _i по X  = ( x ₁ , ..., x _k ) вычисляется из общей формы:

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

где F ( X ) является аналитической функцией в X . При таком выборе однослойная нейронная сеть идентична модели логистической регрессии. Эта функция имеет непрерывную производную, что позволяет использовать ее при обратном распространении . Эта функция также предпочтительна, потому что ее производная легко вычисляется:

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

Что касается биномиальных данных [ править ]

Тесно связанная модель предполагает, что каждое i связано не с одним испытанием Бернулли, а с n _i независимыми одинаково распределенными испытаниями, где наблюдение Y _i - это количество наблюдаемых успехов (сумма отдельных случайных величин, распределенных по Бернулли), и отсюда следует биномиальное распределение :

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$

Примером этого распределения является доля семян ( p _i ), прорастающих после посадки n _i .

С точки зрения ожидаемых значений эта модель выражается следующим образом:

${\displaystyle p_{i}=\operatorname {\mathcal {E}} \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\,,}$

так что

${\displaystyle \operatorname {logit} \left(\operatorname {\mathcal {E}} \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\right)=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\,,}$

Или эквивалентно:

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={n_{i} \choose y}p_{i}^{y}(1-p_{i})^{n_{i}-y}={n_{i} \choose y}\left({\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{n_{i}-y}\,.}$