Функция рампы

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Функция рампы»  -  новости  · газеты  · книги  · ученый  · JSTOR ( январь 2017 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон )

График функции нарастания

Функция линейного изменения - это унарная вещественная функция , график которой имеет форму кривой . В машинном обучении он обычно известен как выпрямитель, используемый в выпрямленных линейных модулях (ReLU). Это может быть выражено многочисленными определениями , например «0 для отрицательных входов, выход равен входу для неотрицательных входов». Термин «рампа» также может использоваться для других функций, полученных с помощью масштабирования и сдвига , а функция в этой статье - это функция единичного линейного изменения (наклон 1, начиная с 0).

Эта функция имеет множество приложений в математике и инженерии и носит разные имена в зависимости от контекста.

Определения [ править ]

Функция линейного изменения ( R ( x ): ℝ → ℝ ₀ ⁺ ) может быть определена аналитически несколькими способами. Возможные определения:

• Кусочно :

  ${\ Displaystyle R (x): = {\ begin {case} x, & x \ geq 0; \\ 0, & x <0 \ end {cases}}}$

• Максимальная функция :

  ${\ Displaystyle R (х): = \ макс (х, 0)}$

• Среднее из независимых переменных и ее абсолютного значения (прямая линия с градиентом единства и ее модулем):

  ${\ Displaystyle R (x): = {\ frac {x + | x |} {2}}}$

это можно вывести, обратив внимание на следующее определение max ( a , b ) ,

${\ displaystyle \ max (a, b) = {\ frac {a + b + | ab |} {2}}}$

для которых a = x и b = 0

• Функция Хевисайда , умноженное на прямой линии с градиентом единства:

  ${\ Displaystyle R \ влево (х \ вправо): = хН (х)}$

• Свертка из ступенчатой функции Хевисайда с самим собой:

  ${\ Displaystyle R \ влево (х \ вправо): = H (x) * H (x)}$

• Интеграл от функции Хевисайда: ^[1]

  ${\displaystyle R(x):=\int _{-\infty }^{x}H(\xi )\,d\xi }$

• Брекеты Маколея :

  ${\displaystyle R(x):=\langle x\rangle }$

Приложения [ править ]

Функция линейного изменения имеет множество приложений в инженерии, например, в теории цифровой обработки сигналов .

В финансах выплата по опциону колл - это наклон (смещенный ценой исполнения ). Горизонтальный поворот рампы дает опцион пут , а вертикальный поворот (принятие отрицательного значения) соответствует продаже или «короткой позиции» по опциону. В финансах эту форму широко называют « хоккейной клюшкой » из-за того, что она похожа на хоккейную клюшку .

В статистике , шарнирные функции из многомерных адаптивных регрессии сплайнов (MARS) пандусы, и используются для построения регрессионных моделей .

Аналитические свойства [ править ]

Неотрицательность [ править ]

Во всей области определения функция неотрицательна, поэтому ее абсолютное значение равно самому себе, т. Е.

${\displaystyle \forall x\in \mathbb {R} :R(x)\geq 0}$

и

${\displaystyle \left|R(x)\right|=R(x)}$

• Доказательство: согласно определению 2, оно неотрицательно в первой четверти и ноль во второй; так что везде неотрицательно.

Производная [ править ]

Его производная - функция Хевисайда :

${\displaystyle R'(x)=H(x)\quad {\mbox{for }}x\neq 0.}$

Вторая производная [ править ]

Функция линейного изменения удовлетворяет дифференциальному уравнению:

${\displaystyle {\frac {d^{2}}{dx^{2}}}R(x-x_{0})=\delta (x-x_{0}),}$

где δ ( x ) - дельта Дирака . Это означает, что R ( x ) является функцией Грина для оператора второй производной. Таким образом, любая функция f ( x ) с интегрируемой второй производной f ″ ( x ) будет удовлетворять уравнению:

${\displaystyle f(x)=f(a)+(x-a)f'(a)+\int _{a}^{b}R(x-s)f''(s)\,ds\quad {\mbox{for }}a<x<b.}$

Преобразование Фурье [ править ]

${\displaystyle {\mathcal {F}}{\big \{}R(x){\big \}}(f)=\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}\,dx={\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}},}$

где δ ( x ) - дельта Дирака (в этой формуле фигурирует ее производная ).

Преобразование Лапласа [ править ]

Одностороннее преобразование Лапласа для R ( x ) задается следующим образом ^[2]

${\displaystyle {\mathcal {L}}{\big \{}R(x){\big \}}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.}$

Алгебраические свойства [ править ]

Итерационная инвариантность [ править ]

Каждая повторяющаяся функция отображения рампы является самой собой, поскольку

${\displaystyle R{\big (}R(x){\big )}=R(x).}$

• Доказательство:

${\displaystyle R{\big (}R(x){\big )}:={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}=R(x).}$

При этом применяется неотрицательное свойство .

См. Также [ править ]

• Функция активации
• Выпрямитель (нейронные сети)
• Модель Tobit

Ссылки [ править ]