Обратное распространение

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

В машинном обучении , прямого распространения ( backprop , ^[1] BP ) широко используется алгоритм для обучения Feedforward нейронных сетей . Обобщения обратного распространения существуют для других искусственных нейронных сетей (ИНС) и для функций в целом. Все эти классы алгоритмов обычно называются «обратным распространением». ^[2] В установке нейронной сети , вычисляет обратное распространение градиента от функции потерь по отношению к весам сети для одного ввода-вывод , например, и делает этоэффективно , в отличие от наивного прямого вычисления градиента по каждому весу в отдельности. Эта эффективность делает возможным использование градиентных методов для обучения многослойных сетей, обновления весов для минимизации потерь; Обычно используются градиентный спуск или такие варианты, как стохастический градиентный спуск . Алгоритм обратного распространения работает путем вычисления градиента функции потерь по отношению к каждому весу по правилу цепочки , вычисления градиента по одному слою за раз, итерации назад от последнего уровня, чтобы избежать избыточных вычислений промежуточных членов в цепном правиле; это пример динамического программирования . ^[3]

Термин обратное распространение строго относится только к алгоритму вычисления градиента, а не к тому, как градиент используется; однако этот термин часто используется в широком смысле для обозначения всего алгоритма обучения, включая способ использования градиента, например, стохастический градиентный спуск. ^[4] Обратное распространение обобщает вычисление градиента в правиле дельты , которое является однослойной версией обратного распространения, и, в свою очередь, обобщается путем автоматического дифференцирования , где обратное распространение является частным случаем обратного накопления (или «обратного режима»). ^[5] Термин обратное распространение и его общее использование в нейронных сетях было объявлено вRumelhart, Hinton & Williams (1986a) , затем развитая и популяризированная в Rumelhart, Hinton & Williams (1986b) , но эта техника была независимо повторно открыта много раз и имела много предшественников, относящихся к 1960-м годам; см. § История . ^[6] Современный обзор дан в учебнике по глубокому обучению Goodfellow, Bengio & Courville (2016) . ^[7]

Обзор [ править ]

Обратное распространение вычисляет градиент в весовом пространстве нейронной сети прямого распространения относительно функции потерь . Обозначим:

• ${\ displaystyle x}$: input (вектор признаков)
• ${\ displaystyle y}$: целевой вывод

  Для классификации выходными данными будет вектор вероятностей классов (например,, а целевой выход - это конкретный класс, закодированный с помощью переменной one-hot / dummy (например, ).${\ displaystyle (0,1,0.7,0.2)}$${\ Displaystyle (0,1,0)}$

• ${\ displaystyle C}$: функция потерь или "функция стоимости" ^[a]

  Для классификации это обычно перекрестная энтропия (XC, log loss ), а для регрессии - это квадратичная потеря ошибок (SEL).

• ${\ displaystyle L}$: количество слоев
• ${\ displaystyle W ^ {l} = (w_ {jk} ^ {l})}$: веса между слоем и , где вес между -м узлом в слое и -м узлом в слое ^[b]${\ displaystyle l-1}$${\ displaystyle l}$${\ displaystyle w_ {jk} ^ {l}}$${\ displaystyle k}$${\ displaystyle l-1}$${\ displaystyle j}$${\ displaystyle l}$
• ${\ displaystyle f ^ {l}}$: функции активации на уровне${\ displaystyle l}$

  Для классификации последний уровень обычно является логистической функцией для двоичной классификации и softmax (softargmax) для классификации нескольких классов, в то время как для скрытых слоев это традиционно была сигмоидальная функция (логистическая функция или другие) на каждом узле (координата), но сегодня более разнообразен, с обычным выпрямителем ( рампа , ReLU ).

При выводе обратного распространения используются другие промежуточные величины; они вводятся по мере необходимости ниже. Члены смещения не обрабатываются специально, поскольку они соответствуют весу с фиксированным входным значением 1. Для целей обратного распространения ошибки конкретная функция потерь и функции активации не имеют значения, если они и их производные могут быть эффективно оценены.

Общая сеть представляет собой комбинацию композиции функций и умножения матриц :

${\ Displaystyle г (х): = е ^ {L} (W ^ {L} f ^ {L-1} (W ^ {L-1} \ cdots f ^ {1} (W ^ {1} x) \ cdots))}$

Для обучающего множества будет множество пар вход-выход, . Для каждой пары вход-выход в обучающем наборе потеря модели в этой паре - это стоимость разницы между прогнозируемым выходом и целевым выходом :${\ displaystyle \ left \ {(x_ {i}, y_ {i}) \ right \}}$${\ Displaystyle (х_ {я}, у_ {я})}$${\displaystyle g(x_{i})}$${\displaystyle y_{i}}$

${\displaystyle C(y_{i},g(x_{i}))}$

Обратите внимание на различие: во время оценки модели веса фиксируются, в то время как входные данные меняются (и целевой выход может быть неизвестен), и сеть заканчивается выходным слоем (он не включает функцию потерь). Во время обучения модели пара вход-выход фиксируется, веса меняются, и сеть заканчивается функцией потерь.

Обратное распространение вычисляет градиент для фиксированной пары вход-выход , где веса могут варьироваться. Каждый отдельный компонент градиента можно вычислить по цепочному правилу; однако делать это отдельно для каждого веса неэффективно. Обратное распространение эффективно вычисляет градиент, избегая дублирования вычислений и не вычисляя ненужные промежуточные значения, вычисляя градиент каждого слоя - в частности, градиент взвешенного ввода каждого слоя, обозначенного - от задней части к передней.${\displaystyle (x_{i},y_{i})}$${\displaystyle w_{jk}^{l}}$${\displaystyle \partial C/\partial w_{jk}^{l},}$${\displaystyle \delta ^{l}}$

Неформально, ключевым моментом является то, что, поскольку единственный способ, которым вес влияет на потерю, - это его влияние на следующий слой, и это происходит линейно , это единственные данные, которые вам нужны для вычисления градиентов весов на уровне , а затем вы можете вычислить предыдущий слой и повторить его рекурсивно. Это позволяет избежать неэффективности двумя способами. Во-первых, это позволяет избежать дублирования, потому что при вычислении градиента на уровне вам не нужно пересчитывать все производные на более поздних уровнях.${\displaystyle W^{l}}$${\displaystyle \delta ^{l}}$${\displaystyle l}$${\displaystyle \delta ^{l-1}}$${\displaystyle l}$${\displaystyle l+1,l+2,\ldots }$каждый раз. Во-вторых, он позволяет избежать ненужных промежуточных вычислений, поскольку на каждом этапе он непосредственно вычисляет градиент весов относительно конечного результата (потерь), а не вычисляет излишне производные значений скрытых слоев относительно изменений весов .${\displaystyle \partial a_{j'}^{l'}/\partial w_{jk}^{l}}$

Обратное распространение может быть выражено для простых сетей с прямой связью в терминах умножения матриц или, в более общем смысле, в терминах присоединенного графа .

Умножение матриц [ править ]

Для базового случая сети с прямой связью, где узлы на каждом уровне подключены только к узлам непосредственно следующего уровня (без пропуска каких-либо слоев), и есть функция потерь, которая вычисляет скалярные потери для окончательного вывода, обратное распространение может быть понимается просто умножением матриц. ^[c] По сути, обратное распространение вычисляет выражение для производной функции стоимости как произведение производных между каждым слоем слева направо - «назад» - с градиентом весов между каждым слоем, являющимся простой модификацией частичных произведений. («ошибка, распространяющаяся в обратном направлении»).

Для пары вход-выход потери составляют:${\displaystyle (x,y)}$

${\displaystyle C(y,f^{L}(W^{L}f^{L-1}(W^{L-1}\cdots f^{2}(W^{2}f^{1}(W^{1}x))\cdots )))}$

Чтобы вычислить это, нужно начать с ввода и продвигаться вперед; Обозначим взвешенный вход каждого слоя как и выход слоя как активацию . Для обратного распространения, активация, а также производные (оцениваемые в ) должны быть кэшированы для использования во время обратного прохода.${\displaystyle x}$${\displaystyle z^{l}}$${\displaystyle l}$${\displaystyle a^{l}}$${\displaystyle a^{l}}$${\displaystyle (f^{l})'}$${\displaystyle z^{l}}$

Производная потерь по входам определяется цепным правилом; обратите внимание, что каждый член является полной производной , оцениваемой по значению сети (в каждом узле) на входе :${\displaystyle x}$

${\displaystyle {\frac {dC}{da^{L}}}\cdot {\frac {da^{L}}{dz^{L}}}\cdot {\frac {dz^{L}}{da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^{L-2}}}\cdots {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\partial z^{1}}{\partial x}}.}$

Этими членами являются: производная функции потерь; ^[d] производные функций активации; ^[e] и матрицы весов: ^[f]

${\displaystyle {\frac {dC}{da^{L}}}\cdot (f^{L})'\cdot W^{L}\cdot (f^{L-1})'\cdot W^{L-1}\cdots (f^{1})'\cdot W^{1}.}$

Градиент - это транспонирование производной выхода по входу, поэтому матрицы транспонируются, а порядок умножения меняется на противоположный, но элементы остаются теми же:${\displaystyle \nabla }$

${\displaystyle \nabla _{x}C=(W^{1})^{T}\cdot (f^{1})'\cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C.}$

Затем обратное распространение состоит, по существу, из оценки этого выражения справа налево (эквивалентно умножению предыдущего выражения для производной слева направо), вычисляя градиент на каждом слое на пути; есть дополнительный шаг, потому что градиент весов - это не просто подвыражение: есть дополнительное умножение.

Введение вспомогательной величины для частичных продуктов (умножение справа налево), интерпретируемой как «ошибка на уровне » и определяемой как градиент входных значений на уровне :${\displaystyle \delta ^{l}}$${\displaystyle l}$${\displaystyle l}$

${\displaystyle \delta ^{l}:=(f^{l})'\cdot (W^{l+1})^{T}\cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C.}$

Обратите внимание, что это вектор, длина которого равна количеству узлов на уровне ; каждый компонент интерпретируется как «стоимость, относящаяся к (значению) этого узла».${\displaystyle \delta ^{l}}$${\displaystyle l}$

Тогда градиент весов в слое равен:${\displaystyle l}$

${\displaystyle \nabla _{W^{l}}C=\delta ^{l}(a^{l-1})^{T}.}$

Фактор заключается в том, что веса между уровнем и уровнем влияют на уровень пропорционально входам (активациям): входы фиксированы, веса меняются.${\displaystyle a^{l-1}}$${\displaystyle W^{l}}$${\displaystyle l-1}$${\displaystyle l}$${\displaystyle l}$

Можно легко вычислить рекурсивно как:${\displaystyle \delta ^{l}}$

${\displaystyle \delta ^{l-1}:=(f^{l-1})'\cdot (W^{l})^{T}\cdot \delta ^{l}.}$

Таким образом, градиенты весов можно вычислить, используя несколько умножений матриц для каждого уровня; это обратное распространение.

По сравнению с наивным вычислением форвардов (используя для иллюстрации):${\displaystyle \delta ^{l}}$

${\displaystyle {\begin{aligned}\delta ^{1}&=(f^{1})'\cdot (W^{2})^{T}\cdot (f^{2})'\cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C\\&\vdots \\\delta ^{L-1}&=(f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\cdot \nabla _{a^{L}}C,\end{aligned}}}$

есть два ключевых отличия от обратного распространения ошибки:

1. С точки зрения вычислений, можно избежать очевидного дублирования слоев и не только.${\displaystyle \delta ^{l-1}}$${\displaystyle \delta ^{l}}$${\displaystyle l}$
2. Умножение, начиная с - распространение ошибки в обратном направлении - означает, что каждый шаг просто умножает вектор ( ) на матрицы весов и производных активаций . Напротив, умножение вперед, начиная с изменений на более раннем уровне, означает, что каждое умножение умножает матрицу на матрицу . Это намного дороже и соответствует отслеживанию каждого возможного пути изменения в одном слое вперед к изменениям в слое (для умножения на${\displaystyle \nabla _{a^{L}}C}$${\displaystyle \delta ^{l}}$${\displaystyle (W^{l})^{T}}$${\displaystyle (f^{l-1})'}$${\displaystyle l}$${\displaystyle l+2}$${\displaystyle W^{l+1}}$${\displaystyle W^{l+2}}$, с дополнительными умножениями для производных активаций), который излишне вычисляет промежуточные величины того, как изменения веса влияют на значения скрытых узлов.

Присоединенный граф [ править ]

Для более общих графиков и других расширенных вариантов обратное распространение можно понимать в терминах автоматического дифференцирования , где обратное распространение является частным случаем обратного накопления (или «обратного режима»). ^[5]

Интуиция [ править ]

Мотивация [ править ]

Цель любого алгоритма контролируемого обучения - найти функцию, которая наилучшим образом отображает набор входных данных на их правильный выход. Мотивацией для обратного распространения является обучение многослойной нейронной сети таким образом, чтобы она могла изучать соответствующие внутренние представления, позволяющие изучить любое произвольное отображение ввода и вывода. ^[8]

Обучение как проблема оптимизации [ править ]

Чтобы понять математический вывод алгоритма обратного распространения ошибки, он помогает сначала развить некоторую интуицию о взаимосвязи между фактическим выходом нейрона и правильным выходом для конкретного обучающего примера. Рассмотрим простую нейронную сеть с двумя входными блоками, одним выходным блоком и без скрытых блоков, и в которой каждый нейрон использует линейный выход (в отличие от большинства нейронных сетей, в которых отображение входов в выходы является нелинейным) ^[g] это взвешенная сумма его ввода.

Изначально перед тренировкой веса будут выставляться случайным образом. Затем нейрон учится на обучающих примерах , которые в данном случае состоят из набора кортежей, где и являются входными данными для сети, а t - правильным выходом (выход, который сеть должна выдавать с этими входными данными, когда она была обучена). Исходная сеть, заданная и , вычислит выходной сигнал y, который, вероятно, отличается от t (с учетом случайных весов). Функция потерь используется для измерения расхождения между целевым выходом t и вычисленным выходом y . Для регрессионного анализа${\displaystyle (x_{1},x_{2},t)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$ ${\displaystyle L(t,y)}$Проблемы квадрата ошибка может быть использована в качестве функции потерь, для классификации категорично crossentropy может быть использовано.

В качестве примера рассмотрим проблему регрессии, используя квадратную ошибку как потерю:

${\displaystyle L(t,y)=(t-y)^{2}=E,}$

где E - несоответствие или ошибка.

Рассмотрим сеть на одном тренировочном случае: . Таким образом, входные и равны 1 и 1 соответственно, а правильный выход, t равен 0. Теперь, если соотношение между выходом y сети по горизонтальной оси и ошибкой E по вертикальной оси, результатом будет парабола. Минимальная часть параболы соответствует выходным у которого сводит к минимуму ошибки E . Для одного учебного случая минимум также касается горизонтальной оси, что означает, что ошибка будет равна нулю, и сеть может выдать выходной сигнал y, который точно соответствует целевому выходу t.${\displaystyle (1,1,0)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$. Следовательно, проблема отображения входов в выходы может быть сведена к задаче оптимизации поиска функции, которая будет производить минимальную ошибку.

Однако выход нейрона зависит от взвешенной суммы всех его входов:

${\displaystyle y=x_{1}w_{1}+x_{2}w_{2},}$

где и - веса на соединении от блоков ввода к блоку вывода. Следовательно, ошибка также зависит от входящих в нейрон весов, которые, в конечном счете, и должны быть изменены в сети, чтобы позволить обучение.${\displaystyle w_{1}}$${\displaystyle w_{2}}$

В этом примере после введения обучающих данных функция потерь становится

${\displaystyle E=(t-y)^{2}=y^{2}=(x_{1}w_{1}+x_{2}w_{2})^{2}=(w_{1}+w_{2})^{2}.}$

Тогда функция потерь принимает форму параболического цилиндра, основание которого направлено вдоль . Поскольку все наборы весов, которые удовлетворяют минимизацию функции потерь, в этом случае требуются дополнительные ограничения для схождения к единственному решению. Дополнительные ограничения могут быть созданы либо путем установки определенных условий для весов, либо путем введения дополнительных обучающих данных.${\displaystyle E}$${\displaystyle w_{1}=-w_{2}}$${\displaystyle w_{1}=-w_{2}}$

Один из часто используемых алгоритмов для поиска набора весов, который минимизирует ошибку, - это градиентный спуск . При обратном распространении вычисляется направление наискорейшего спуска функции потерь по сравнению с текущими синаптическими весами. Затем веса могут быть изменены в направлении наискорейшего спуска, и ошибка будет эффективно минимизирована.

Вывод [ править ]

Метод градиентного спуска включает вычисление производной функции потерь по весам сети. Обычно это делается с помощью обратного распространения ошибки. Предполагая, что один выходной нейрон, ^[h] функция ошибки в квадрате равна

${\displaystyle E=L(t,y)}$

куда

${\displaystyle E}$- потери для выхода и целевого значения ,${\displaystyle y}$${\displaystyle t}$

${\displaystyle t}$ - целевой результат для обучающей выборки, а

${\displaystyle y}$ это фактический выход выходного нейрона.

Для каждого нейрона его выход определяется как${\displaystyle j}$${\displaystyle o_{j}}$

${\displaystyle o_{j}=\varphi ({\text{net}}_{j})=\varphi \left(\sum _{k=1}^{n}w_{kj}o_{k}\right),}$

где функция активации является нелинейной и дифференцируемым (даже если РЕЛ не в одной точке). Исторически используемая функция активации - это логистическая функция :${\displaystyle \varphi }$

${\displaystyle \varphi (z)={\frac {1}{1+e^{-z}}}}$

который имеет удобную производную:

${\displaystyle {\frac {d\varphi (z)}{dz}}=\varphi (z)(1-\varphi (z))}$

Вход в нейрон - это взвешенная сумма выходов предыдущих нейронов. Если нейрон находится в первом слое после входного слоя, входной слой - это просто входы в сеть. Количество входных единиц нейрона составляет . Переменная обозначает вес между нейроном предыдущего слоя и нейроном текущего слоя.${\displaystyle {\text{net}}_{j}}$${\displaystyle o_{k}}$${\displaystyle o_{k}}$${\displaystyle x_{k}}$${\displaystyle n}$${\displaystyle w_{kj}}$${\displaystyle k}$${\displaystyle j}$

Нахождение производной ошибки [ править ]

Вычисление частной производной ошибки по весу выполняется с использованием цепного правила дважды:${\displaystyle w_{ij}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}}$

( Уравнение 1 )

В последнем множителе правой части вышеизложенного только один член в сумме зависит от , так что${\displaystyle {\text{net}}_{j}}$${\displaystyle w_{ij}}$

${\displaystyle {\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial }{\partial w_{ij}}}\left(\sum _{k=1}^{n}w_{kj}o_{k}\right)={\frac {\partial }{\partial w_{ij}}}w_{ij}o_{i}=o_{i}.}$

( Уравнение 2 )

Если нейрон находится в первом слое после входного, это справедливо .${\displaystyle o_{i}}$${\displaystyle x_{i}}$

Производная выхода нейрона по отношению к его входу - это просто частная производная функции активации:${\displaystyle j}$

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial \varphi ({\text{net}}_{j})}{\partial {\text{net}}_{j}}}}$

( Уравнение 3 )

что для случая функции логистической активации :

${\displaystyle {\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\frac {\partial }{\partial {\text{net}}_{j}}}\varphi ({\text{net}}_{j})=\varphi ({\text{net}}_{j})(1-\varphi ({\text{net}}_{j}))=o_{j}(1-o_{j})}$

Это причина того, что обратное распространение требует, чтобы функция активации была дифференцируемой . (Тем не менее, функция активации ReLU , которая недифференцируема при 0, стала довольно популярной, например, в AlexNet )

Первый фактор легко оценить, находится ли нейрон в выходном слое, потому что тогда и${\displaystyle o_{j}=y}$

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}}$

( Уравнение 4 )

Если половина квадратной ошибки используется как функция потерь, мы можем переписать ее как

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t}$

Однако, если он находится в произвольном внутреннем слое сети, поиск производной по менее очевиден.${\displaystyle j}$${\displaystyle E}$${\displaystyle o_{j}}$

Рассматривая функцию, в которой входами являются все нейроны, получающие входные данные от нейрона ,${\displaystyle E}$${\displaystyle L=\{u,v,\dots ,w\}}$${\displaystyle j}$

${\displaystyle {\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},{\text{net}}_{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}}$

и взяв полную производную по , получается рекурсивное выражение для производной:${\displaystyle o_{j}}$

${\displaystyle {\frac {\partial E}{\partial o_{j}}}=\sum _{\ell \in L}\left({\frac {\partial E}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac {\partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}w_{j\ell }\right)}$

( Уравнение 5 )

Следовательно, производная по может быть вычислена, если известны все производные по выходным сигналам следующего слоя - ближайшим к выходному нейрону. [Обратите внимание, что если какой-либо из нейронов в наборе не был подключен к нейрону , они были бы независимы от них, и соответствующая частная производная при суммировании обратилась бы в нуль до 0.]${\displaystyle o_{j}}$${\displaystyle o_{\ell }}$${\displaystyle L}$${\displaystyle j}$${\displaystyle w_{ij}}$

Подставляя уравнение. 2 , уравнение. 3 Уравнение 4 и Уравнение. 5 в уравнении. 1 получаем:

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}o_{i}}$

${\displaystyle {\frac {\partial E}{\partial w_{ij}}}=o_{i}\delta _{j}}$

с

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}{\frac {\partial L(o_{j},t)}{\partial o_{j}}}{\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{net}}_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

if - это логистическая функция, а ошибка - квадратная ошибка:${\displaystyle \varphi }$

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j}}}={\begin{cases}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ is an output neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if }}j{\text{ is an inner neuron.}}\end{cases}}}$

Для обновления веса с помощью градиентного спуска, нужно выбрать скорость обучения, . Изменение веса должно отражать влияние увеличения или уменьшения . Если , увеличение увеличивается ; наоборот, при увеличении уменьшается . Новое добавляется к старому весу и произведению скорости обучения и градиента, умноженному на гарантии, которые изменяются так, что всегда уменьшаются . Другими словами, в приведенном ниже уравнении всегда изменяется в сторону уменьшения:${\displaystyle w_{ij}}$${\displaystyle \eta >0}$${\displaystyle E}$${\displaystyle w_{ij}}$${\displaystyle {\frac {\partial E}{\partial w_{ij}}}>0}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle {\frac {\partial E}{\partial w_{ij}}}<0}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle \Delta w_{ij}}$${\displaystyle -1}$${\displaystyle w_{ij}}$${\displaystyle E}$${\displaystyle -\eta {\frac {\partial E}{\partial w_{ij}}}}$${\displaystyle w_{ij}}$${\displaystyle E}$

${\displaystyle \Delta w_{ij}=-\eta {\frac {\partial E}{\partial w_{ij}}}=-\eta o_{i}\delta _{j}}$

Функция потери [ править ]

Функция потерь - это функция, которая отображает значения одной или нескольких переменных на действительное число, интуитивно представляя некоторую «стоимость», связанную с этими значениями. Для обратного распространения функция потерь вычисляет разницу между выходными данными сети и ожидаемыми выходными данными после того, как обучающий пример распространился по сети.

Предположения [ править ]

Математическое выражение функции потерь должно удовлетворять двум условиям, чтобы его можно было использовать при обратном распространении. ^[9] Во - первых, она может быть записана как в среднем более функций ошибки , для отдельных примеров обучения, . Причина этого предположения заключается в том, что алгоритм обратного распространения ошибки вычисляет градиент функции ошибок для одного обучающего примера, который необходимо обобщить на общую функцию ошибок. Второе предположение состоит в том, что его можно записать как функцию выходов нейронной сети.${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$${\textstyle E_{x}}$${\textstyle n}$${\textstyle x}$

Пример функции потерь [ править ]

Позвольте быть векторам в .${\displaystyle y,y'}$${\displaystyle \mathbb {R} ^{n}}$

Выберите функцию ошибки, измеряющую разницу между двумя выходами. Стандартный выбор - это квадрат евклидова расстояния между векторами и :${\displaystyle E(y,y')}$${\displaystyle y}$${\displaystyle y'}$

$${\displaystyle E(y,y')={\tfrac {1}{2}}\lVert y-y'\rVert ^{2}}$$

${\textstyle n}$

$${\displaystyle E={\frac {1}{2n}}\sum _{x}\lVert (y(x)-y'(x))\rVert ^{2}}$$

Ограничения [ править ]

• Градиентный спуск с обратным распространением не гарантирует нахождение глобального минимума функции ошибок, а только локального минимума; кроме того, у него есть проблемы с переходом через плато в ландшафте функций ошибок. Эта проблема, вызванная невыпуклостью функций ошибок в нейронных сетях, долгое время считалась серьезным недостатком, но Yann LeCun et al. утверждают, что во многих практических задачах это не так. ^[10]
• Обучение обратному распространению не требует нормализации входных векторов; однако нормализация может улучшить производительность. ^[11]
• Обратное распространение требует, чтобы производные функций активации были известны во время проектирования сети.

История [ править ]

Термин обратное распространение и его общее использование в нейронных сетях было объявлено в Rumelhart, Hinton & Williams (1986a) , затем разработано и популяризировано в Rumelhart, Hinton & Williams (1986b) , но этот метод был независимо повторно открыт много раз, и у него было много предшественников. к 1960-м годам. ^{[6] [12]}

Основы непрерывного обратного распространения ошибки были получены в контексте теории управления Генри Дж. Келли в 1960 г. ^[13] и Артуром Э. Брайсоном в 1961 г. ^{[14] [15] [16] [17] [18]} Они использовали принципы динамического программирования . В 1962 году Стюарт Дрейфус опубликовал более простой вывод, основанный только на цепном правиле . ^[19] Брайсон и Хо описали его как метод многоступенчатой ​​динамической оптимизации системы в 1969 году. ^{[20] [21]} Обратное распространение было получено несколькими исследователями в начале 60-х годов.^[17] и реализован для работы на компьютерах еще в 1970 году Сеппо Линнаинмаа . ^{[22] [23] [24]} Пол Вербос был первым в США, кто предложил использовать его для нейронных сетей после его глубокого анализа в своей диссертации 1974 года. ^[25] Хотя в 1970 году Линнаинмаа не применялся к нейронным сетям, он опубликовал общий метод автоматического дифференцирования (AD). ^{[23] [24]} Хотя это и вызывает большие споры, некоторые ученые считают, что на самом деле это был первый шаг к разработке алгоритма обратного распространения. ^{[17] [18] [22] [26]} В 1973 году Дрейфус адаптирует параметрыконтроллеров пропорционально градиентам ошибок. ^[27] В 1974 г. Вербос упомянул возможность применения этого принципа к искусственным нейронным сетям ^[25], а в 1982 г. он применил метод AD Линнаинмаа к нелинейным функциям. ^{[18] [28]}

Позже метод Вербоса был переоткрыт и описан в 1985 году Паркером ^{[29] [30]} и в 1986 году Румелхартом , Хинтоном и Уильямсом . ^{[12] [30] [31]} Рамелхарт, Хинтон и Уильямс экспериментально показали, что этот метод может генерировать полезные внутренние представления входящих данных в скрытых слоях нейронных сетей. ^{[8] [32] [33]} Ян Лекун , изобретатель архитектуры сверточной нейронной сети, предложил современную форму алгоритма обучения с обратным распространением нейронных сетей в своей докторской диссертации в 1987 году. В 1993 году Эрик Ван выиграл международный образец. конкурс признания через обратное распространение.^{[17] [34]}

В 2000-х он потерял популярность, но вернулся в 2010-х, извлекая выгоду из дешевых и мощных вычислительных систем на базе графических процессоров . Это было особенно верно в исследованиях распознавания речи , машинного зрения , обработки естественного языка и изучения структуры языка (в которых оно использовалось для объяснения множества явлений, связанных с изучением первого ^[35] и второго языка ^[36] ).

Обратное распространение ошибок было предложено для объяснения таких компонентов ERP человеческого мозга, как N400 и P600 . ^[37]

См. Также [ править ]

• Искусственная нейронная сеть
• Биологическая нейронная сеть
• Катастрофическое вмешательство
• Ансамблевое обучение
• AdaBoost
• Переоснащение
• Нейронное обратное распространение
• Обратное распространение во времени

Заметки [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Гудфеллоу, Ян ; Бенхио, Йошуа ; Курвиль, Аарон (2016). «6.5 Обратное распространение и другие алгоритмы дифференцирования» . Глубокое обучение . MIT Press. С. 200–220. ISBN 9780262035613.
• Нильсен, Майкл А. (2015). «Как работает алгоритм обратного распространения ошибки» . Нейронные сети и глубокое обучение . Определение Press.
• Маккафри, Джеймс (октябрь 2012 г.). "Обратное распространение нейронных сетей для программистов" . Журнал MSDN .
• Рохас, Рауль (1996). «Алгоритм обратного распространения ошибки» (PDF) . Нейронные сети: систематическое введение . Берлин: Springer. ISBN 3-540-60505-3.

Внешние ссылки [ править ]

• Учебник по нейронной сети обратного распространения в Викиверситете
• Бернацкий, Мариуш; Влодарчик, Пшемыслав (2004). «Принципы обучения многослойной нейронной сети с использованием обратного распространения ошибки» .
• Карпаты, Андрей (2016). «Лекция 4: Обратное распространение, нейронные сети 1» . CS231n . Стэнфордский университет - через YouTube .
• "Что на самом деле делает обратное распространение?" . 3Синий1Коричневый . 3 ноября 2017 г. - через YouTube .