Разведение (нейронные сети)
Разбавление (также называемое Dropout или DropConnect [1] ) — это метод регуляризации для уменьшения переобучения в искусственных нейронных сетях за счет предотвращения сложных коадаптаций обучающих данных . Это эффективный способ усреднения модели с помощью нейронных сетей. [2] Термин разбавление относится к утончению гирь. [3] Термин отсев относится к случайному «выпадению» или пропуску единиц (как скрытых, так и видимых) в процессе обучения нейронной сети. [4] [5] [2]И уменьшение весов, и выпадение единиц вызывают один и тот же тип регуляризации, и часто термин « выпадение » используется, когда речь идет о разбавлении весов.
Разбавление обычно делится на слабое разведение и сильное разведение . Слабое разбавление описывает процесс, при котором конечная доля удаляемых соединений мала, а сильное разбавление — когда эта доля велика. Нет четкого различия в том, где находится предел между сильным и слабым разбавлением, и часто это различие бессмысленно, хотя оно имеет значение для того, как найти точные решения.
Иногда разбавление используется для добавления демпфирующего шума на входы. В этом случае слабое разбавление относится к добавлению небольшого количества демпфирующего шума, а сильное разбавление относится к добавлению большего количества демпфирующего шума. Оба могут быть переписаны как варианты разбавления веса.
Эти методы также иногда называют случайным сокращением весов, но обычно это неповторяющаяся односторонняя операция. Сеть обрезается, а затем сохраняется, если это улучшение по сравнению с предыдущей моделью. Разбавление и отсев относятся к итеративному процессу. Сокращение весов обычно не означает, что сеть продолжает обучение, в то время как при разбавлении/выпадении сеть продолжает учиться после применения метода.
При слабом разбавлении конечная доля удаленных соединений (весов) мала, что приводит к незначительной неопределенности. Этот пограничный случай можно точно решить с помощью теории среднего поля . При слабом разбавлении влияние на веса можно описать как
Интерпретация вероятности также может быть изменена с сохранения веса на сокращение веса.
