Часть серии по |
Регрессивный анализ |
---|
Модели |
Оценка |
|
Фон |
|
|
В статистике нелинейная регрессия - это форма регрессионного анализа, в котором данные наблюдений моделируются функцией, которая представляет собой нелинейную комбинацию параметров модели и зависит от одной или нескольких независимых переменных. Данные аппроксимированы методом последовательных приближений.
Общие [ править ]
В нелинейной регрессии статистическая модель вида
относится вектор независимых переменных , и связанные с ней наблюдаемые зависимые переменные , . Функция нелинейна по компонентам вектора параметров , но в остальном произвольна. Например, модель Михаэлиса – Ментен для кинетики ферментов имеет два параметра и одну независимую переменную, которые связаны соотношением: [a]
Эта функция является нелинейной, потому что ее нельзя выразить как линейную комбинацию двух s.
Систематическая ошибка может присутствовать в независимых переменных, но ее обработка выходит за рамки регрессионного анализа. Если независимые переменные не свободны от ошибок , это модель с ошибками в переменных , также выходящая за рамки этой области.
Другие примеры нелинейных функций включают экспоненциальные функции , логарифмические функции , тригонометрические функции , степенные функции , функцию Гаусса и кривые Лоренца . Некоторые функции, такие как экспоненциальные или логарифмические функции, можно преобразовать так, чтобы они стали линейными. При таком преобразовании можно выполнить стандартную линейную регрессию, но ее следует применять с осторожностью. См. Дополнительную информацию в разделе « Линеаризация§Трансформация» ниже.
В общем, не существует выражения в закрытой форме для наиболее подходящих параметров, как в линейной регрессии . Обычно для определения наиболее подходящих параметров применяются алгоритмы численной оптимизации . Опять же, в отличие от линейной регрессии, может быть много локальных минимумов оптимизируемой функции, и даже глобальный минимум может дать смещенную оценку. На практике оценочные значения параметров используются вместе с алгоритмом оптимизации, чтобы попытаться найти глобальный минимум суммы квадратов.
Для получения подробной информации о моделировании нелинейных данных см. Метод наименьших квадратов и нелинейный метод наименьших квадратов .
Статистика регрессии [ править ]
Предположение, лежащее в основе этой процедуры, состоит в том, что модель может быть аппроксимирована линейной функцией, а именно рядом Тейлора первого порядка :
где . Из этого следует, что оценки наименьших квадратов имеют вид
Статистика нелинейной регрессии вычисляется и используется как статистика линейной регрессии, но с использованием J вместо X в формулах. Линейное приближение вносит систематическую ошибку в статистику. Поэтому при интерпретации статистики, полученной из нелинейной модели, требуется больше осторожности, чем обычно.
Обычные и взвешенные методы наименьших квадратов [ править ]
Часто предполагается, что наиболее подходящей кривой является кривая, которая минимизирует сумму квадратов остатков . Это обычный метод наименьших квадратов (OLS). Однако в случаях, когда зависимая переменная не имеет постоянной дисперсии, сумма взвешенных квадратов остатков может быть минимизирована; увидеть взвешенные наименьшие квадраты . Каждый вес в идеале должен быть равен обратной величине дисперсии наблюдения, но веса могут быть пересчитаны на каждой итерации в итеративно взвешенном алгоритме наименьших квадратов.
Линеаризация [ править ]
Трансформация [ править ]
Некоторые задачи нелинейной регрессии можно переместить в линейную область с помощью подходящего преобразования формулировки модели.
Например, рассмотрим задачу нелинейной регрессии
с параметрами и б и с мультипликативным термином ошибки U . Если мы возьмем логарифм обеих сторон, это станет
где u = ln ( U ), что предполагает оценку неизвестных параметров с помощью линейной регрессии ln ( y ) по x , вычисление, которое не требует итеративной оптимизации. Однако использование нелинейного преобразования требует осторожности. Влияние значений данных изменится, как и структура ошибок модели и интерпретация любых выводимых результатов. Это могут быть нежелательные эффекты. С другой стороны, в зависимости от того, что является наибольшим источником ошибки, нелинейное преобразование может распределять ошибки по гауссовскому принципу, поэтому выбор выполнения нелинейного преобразования должен основываться на соображениях моделирования.
Для кинетики Михаэлиса – Ментен линейный график Лайнуивера – Берка
1 / v против 1 / [ S ]. Однако, поскольку он очень чувствителен к ошибкам данных и сильно склонен к подгонке данных в конкретный диапазон независимой переменной [ S ], его использование настоятельно не рекомендуется.
Для распределений ошибок, которые принадлежат экспоненциальному семейству , функция связи может использоваться для преобразования параметров в рамках обобщенной линейной модели .
Сегментация [ править ]
Независимый или объясняющие переменные (скажем , X) можно разделить на классы или сегменты и линейная регрессия может быть выполнена для каждого сегмента. Сегментированная регрессия с доверительным анализом может привести к тому, что зависимая переменная или переменная ответа (например, Y) ведет себя по-разному в различных сегментах. [1]
На рисунке показано, что засоление почвы (X) изначально не влияет на урожайность (Y) горчицы до критического или порогового значения ( контрольной точки ), после которого урожайность подвергается отрицательному воздействию. [2]
См. Также [ править ]
- Нелинейный метод наименьших квадратов
- Подгонка кривой
- Обобщенная линейная модель
- Локальная регрессия
Ссылки [ править ]
- ^ RJOosterbaan, 1994, Анализ частоты и регрессии. В: HPRitzema (ред.), Принципы дренажа и их применение, Publ. 16, стр. 175-224, Международный институт мелиорации и улучшения земель (ILRI), Вагенинген, Нидерланды. ISBN 90-70754-33-9 . Скачать как PDF: [1]
- ^ RJOosterbaan, 2002. Исследование дренажа на фермерских полях: анализ данных. Часть проекта «Жидкое золото» Международного института мелиорации и улучшения земель (ILRI), Вагенинген, Нидерланды. Скачать в формате PDF: [2] . Рисунок был сделан с помощью программы SegReg , которую можно бесплатно скачать с [3]
Примечания [ править ]
- ^ Эта модель также может быть выражена в общепринятых биологических обозначениях:
Дальнейшее чтение [ править ]
- Бетея, РМ; Duran, BS; Буллион, Т.Л. (1985). Статистические методы для инженеров и ученых . Нью-Йорк: Марсель Деккер. ISBN 0-8247-7227-X.
- Meade, N .; Ислам, Т. (1995). «Интервалы прогнозирования для прогнозов кривой роста». Журнал прогнозирования . 14 (5): 413–430. DOI : 10.1002 / for.3980140502 .
- Schittkowski, K. (2002). Подгонка данных в динамических системах . Бостон: Клувер. ISBN 1402010796.
- Себер, ГАФ; Уайлд, CJ (1989). Нелинейная регрессия . Нью-Йорк: Джон Уайли и сыновья. ISBN 0471617601.