Сигмовидная функция

Сигмовидной функция является математической функцией , имеющей характеристику «S» -образной кривой или сигмовидной кривой . Типичным примером сигмовидной функции является логистическая функция, показанная на первом рисунке и определяемая формулой: ^[1]

{\ Displaystyle S (x) = {\ frac {1} {1 + e ^ {- x}}} = {\ frac {e ^ {x}} {e ^ {x} +1}} = 1-S (-Икс).}

Другие стандартные сигмовидные функции приведены в разделе « Примеры» .

К частным случаям сигмовидной функции относятся кривая Гомпертца (используется в системах моделирования, которые насыщаются при больших значениях x) и кривая ogee (используется в водосбросе некоторых плотин ). Сигмоидальные функции имеют область значений всех действительных чисел , при этом возвращаемое (ответное) значение обычно монотонно увеличивается, но может уменьшаться. Сигмоидные функции чаще всего показывают возвращаемое значение (ось y) в диапазоне от 0 до 1. Другой часто используемый диапазон - от -1 до 1.

Широкое разнообразие сигмоид включая логистические и гиперболические тангенс функции были использовано в качестве функции активации из искусственных нейронов . Сигмовидные кривые также распространены в статистике как кумулятивные функции распределения (которые меняются от 0 до 1), такие как интегралы логистической плотности , нормальной плотности и функций плотности вероятности t Стьюдента . Логистическая сигмоидальная функция обратима, а обратная ей - логит- функция.

Определение [ править ]

Сигмовидная функция является ограниченной , дифференцируемой , действительной функцией , которая определена для всех реальных значений входных и имеет неотрицательную производную в каждой точке ^[1] и в точности одну точки перегиба . Сигмовидная «функция» и сигмовидная «кривая» относятся к одному и тому же объекту.

Свойства [ править ]

В общем, сигмовидная функция является монотонной , и ее первая производная имеет форму колокола . И наоборот, интеграл от любой непрерывной неотрицательной колоколообразной функции (с одним локальным максимумом и без локального минимума, если он не вырожден) будет сигмоидальным. Таким образом, кумулятивные функции распределения для многих распространенных вероятностных распределений являются сигмоидальными. Одним из таких примеров является функция ошибок , которая связана с кумулятивной функцией распределения нормального распределения .

Сигмоидная функция ограничена парой горизонтальных асимптот как . ${\ Displaystyle х \ rightarrow \ pm \ infty}$

Сигмовидная функция является выпуклой для значений меньше 0 и вогнутой для значений больше 0.

Примеры [ править ]

Сравнение некоторых сигмовидных функций. На чертеже все функции нормализованы таким образом, что их наклон в начале координат равен 1.

Логистическая функция

{\ displaystyle f (x) = {\ frac {1} {1 + e ^ {- x}}}}

Гиперболический тангенс (смещенная и масштабированная версия логистической функции, см. Выше)

{\ displaystyle f (x) = \ tanh x = {\ frac {e ^ {x} -e ^ {- x}} {e ^ {x} + e ^ {- x}}}}

Функция арктангенса

{\ Displaystyle f (x) = \ arctan x}

Функция Гудермана

{\ displaystyle f (x) = \ operatorname {gd} (x) = \ int _ {0} ^ {x} {\ frac {1} {\ ch t}} \, dt = 2 \ arctan \ left (\ tanh \ left ({\ frac {x} {2}} \ right) \ right)}

Функция ошибки

{\ displaystyle f (x) = \ operatorname {erf} (x) = {\ frac {2} {\ sqrt {\ pi}}} \ int _ {0} ^ {x} e ^ {- t ^ {2 }} \, dt}

Обобщенная логистическая функция

f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0

Функция плавного шага

f(x)={\begin{cases}\displaystyle {\left(\int _{0}^{1}\left(1-u^{2}\right)^{N}\ du\right)^{-1}\int _{0}^{x}(1-u^{2})^{N}\ du},&|x|\leq 1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1

Некоторые алгебраические функции , например

f(x)={\frac {x}{\sqrt {1+x^{2}}}}

f(x)={\frac {x^{n}}{x^{n}+\left(1-x\right)^{n}}}

колеблется от 0 до 1, где

f'(0.5)=n

Приложения [ править ]

Перевернутая логистическая S-кривая для моделирования связи между урожайностью пшеницы и засолением почвы. ^[2]

Многие естественные процессы, например, сложные кривые обучения системы , демонстрируют прогрессию с малого, которая со временем ускоряется и приближается к кульминации. Когда конкретная математическая модель отсутствует, часто используется сигмовидная функция. ^[3]

Модель ван Генухтена – Гупты основана на перевернутой S- образной кривой и применяется к реакции урожайности сельскохозяйственных культур на засоление почвы .

Примеры применения логистической S-кривой к реакции урожайности (пшеницы) как на засоленность почвы, так и на глубину грунтовых вод в почве показаны в логистической функции № В сельском хозяйстве: моделирование реакции сельскохозяйственных культур .

В искусственных нейронных сетях иногда вместо них для повышения эффективности используются негладкие функции; они известны как твердые сигмоиды .

При обработке аудиосигнала сигмоидальные функции используются в качестве передаточных функций формирователя волны для имитации звука ограничения аналоговой схемы . ^[4]

В биохимии и фармакологии , то уравнение Хилла и уравнения Хилла-Ленгмюра являются сигмоида.

В компьютерной графике и рендеринге в реальном времени некоторые сигмовидные функции используются для плавного смешивания цветов или геометрии между двумя значениями без видимых стыков или разрывов.

Кривые титрования между сильными кислотами и сильными основаниями имеют сигмовидную форму из-за логарифмической природы шкалы pH .

См. Также [ править ]

Викискладе есть медиафайлы, связанные с сигмовидными функциями .

Ступенчатая функция Хевисайда
Логистическая регрессия
Logit
Функция Softplus
Модифицированный гиперболический тангенс Соболевой
Функция Softmax
Функция Swish
Распределение Вейбулла
Статистика Ферми – Дирака

Ссылки [ править ]

^ а б Хан, Цзюнь; Мораг, Клаудио (1995). «Влияние параметров сигмовидной функции на скорость обучения обратному распространению» . В Мире, Хосе; Сандовал, Франциско (ред.). От естественных к искусственным нейронным вычислениям . Конспект лекций по информатике. 930 . С. 195–201 . DOI : 10.1007 / 3-540-59497-3_175 . ISBN 978-3-540-59497-0.
^ Программное обеспечение для подгонки S-образной кривой к набору данных [1]
↑ Гиббс, Миннесота (ноябрь 2000 г.). «Вариационные гауссовские классификаторы процессов» . IEEE-транзакции в нейронных сетях . 11 (6): 1458–1464. DOI : 10.1109 / 72.883477 . PMID 18249869 . S2CID 14456885 .
Перейти ↑ Smith, Julius O. (2010). Обработка физических аудиосигналов (ред. 2010 г.). Издательство W3K. ISBN 978-0-9745607-2-4. Проверено 28 марта 2020 .

Митчелл, Том М. (1997). Машинное обучение . WCB – McGraw – Hill. ISBN 978-0-07-042807-2.. В частности, см. «Главу 4: Искусственные нейронные сети» (в частности, стр. 96–97), где Митчелл использует слова «логистическая функция» и «сигмовидная функция» как синонимы - эту функцию он также называет «функцией сжатия» - и сигмоидальная (также известная как логистическая) функция используется для сжатия выходных сигналов «нейронов» в многослойных нейронных сетях.
Хамфрис, Марк. «Непрерывный вывод, сигмовидная функция» . Свойства сигмоида, включая то, как он может сдвигаться по осям и как его домен может быть преобразован.

[:0-1] а б Хан, Цзюнь; Мораг, Клаудио (1995). «Влияние параметров сигмовидной функции на скорость обучения обратному распространению» . В Мире, Хосе; Сандовал, Франциско (ред.). От естественных к искусственным нейронным вычислениям . Конспект лекций по информатике. 930 . С. 195–201 . DOI : 10.1007 / 3-540-59497-3_175 . ISBN 978-3-540-59497-0.

[2] Программное обеспечение для подгонки S-образной кривой к набору данных [1]

[3] Гиббс, Миннесота (ноябрь 2000 г.). «Вариационные гауссовские классификаторы процессов» . IEEE-транзакции в нейронных сетях . 11 (6): 1458–1464. DOI : 10.1109 / 72.883477 . PMID 18249869 . S2CID 14456885 .

[4] Перейти ↑ Smith, Julius O. (2010). Обработка физических аудиосигналов (ред. 2010 г.). Издательство W3K. ISBN 978-0-9745607-2-4. Проверено 28 марта 2020 .

[1]