Автоэнкодер

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Разработка функций Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k- означает Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор локального выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Схема машинного обучения
v т е

Автоассоциатор представляет собой тип искусственной нейронной сети используется , чтобы узнать эффективные кодировки данных в неконтролируемой манере. ^[1] Задача автокодировщика - изучить представление (кодирование) набора данных, обычно для уменьшения размерности , путем обучения сети игнорированию сигнала «шум». Наряду со стороной сокращения изучается сторона восстановления, когда автоэнкодер пытается сгенерировать из сокращенной кодировки представление, максимально приближенное к исходному входу, отсюда и его название. Существуют варианты, направленные на то, чтобы выученные представления приобрели полезные свойства. ^[2] Примерами являются регуляризованные автокодеры (Sparse , Denoising и Contractive ), которые эффективны при обучении представлений для последующих задач классификации ^[3] и вариационных автоэнкодеров с приложениями в качестве генеративных моделей . ^[4] Автоэнкодеры применяются для решения многих задач, от распознавания лиц ^[5] до получения семантического значения слов. ^{[6] [7]}

Введение [ править ]

Автоассоциатор является нейронной сетью , которая учится копировать свой вклад в его выход. Он имеет внутренний ( скрытый ) слой, который описывает код, используемый для представления ввода, и состоит из двух основных частей: кодировщика, который отображает ввод в код, и декодера, который отображает код на реконструкцию ввода. .

Безупречное выполнение задачи копирования просто дублирует сигнал, и именно поэтому автокодеры обычно ограничены способами, которые заставляют их приблизительно реконструировать ввод, сохраняя только наиболее важные аспекты данных в копии.

Идея автоэнкодеров была популярна в области нейронных сетей на протяжении десятилетий. Первые заявки относятся к 1980-м годам. ^{[2] [8] [9]} Их наиболее традиционным применением было уменьшение размерности или изучение функций , но концепция автоэнкодера стала более широко использоваться для изучения генеративных моделей данных. ^{[10] [11]} Некоторые из самых мощных ИИ 2010-х годов включали в себя редкие автокодеры, встроенные в глубокие нейронные сети. ^[12]

Базовая архитектура [ править ]

Самая простая форма автоэнкодера - это неповторяющаяся нейронная сеть с прямой связью , аналогичная однослойным перцептронам, которые участвуют в многослойных перцептронах (MLP), использующая входной и выходной уровни, соединенные одним или несколькими скрытыми слоями. Выходной слой имеет такое же количество узлов (нейронов), что и входной слой. Его цель состоит в том, чтобы реконструировать свои входные данные (минимизируя разницу между входом и выходом) вместо того, чтобы предсказывать целевое значение с учетом входных данных . Следовательно, автоэнкодеры - это модели обучения без учителя . (Для обучения им не требуются маркированные входы).${\ displaystyle Y}$${\ displaystyle X}$

Автоэнкодер состоит из двух частей, кодировщика и декодера, которые можно определить как переходы и такие, что:${\ displaystyle \ phi}$${\ displaystyle \ psi,}$

${\ Displaystyle \ phi: {\ mathcal {X}} \ rightarrow {\ mathcal {F}}}$

${\ displaystyle \ psi: {\ mathcal {F}} \ rightarrow {\ mathcal {X}}}$

${\ displaystyle \ phi, \ psi = {\ underset {\ phi, \ psi} {\ operatorname {arg \, min}}} \, \ | X - (\ psi \ circ \ phi) X \ | ^ {2 }}$

В простейшем случае, учитывая один скрытый слой, этап кодировщика автоэнкодера принимает входные данные и сопоставляет их :${\ Displaystyle \ mathbf {x} \ in \ mathbb {R} ^ {d} = {\ mathcal {X}}}$${\displaystyle \mathbf {h} \in \mathbb {R} ^{p}={\mathcal {F}}}$

${\displaystyle \mathbf {h} =\sigma (\mathbf {Wx} +\mathbf {b} )}$

Это изображение обычно называют кодом , скрытыми переменными или скрытым представлением . Здесь представлена ​​поэлементная функция активации, такая как сигмовидная функция или выпрямленный линейный блок . - матрица весов и вектор смещения. Веса и смещения обычно инициализируются случайным образом, а затем обновляются итеративно во время обучения посредством обратного распространения ошибки . После этого этап декодирования автоэнкодера преобразуется в реконструкцию такой же формы, как :${\displaystyle \mathbf {h} }$${\displaystyle \sigma }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {h} }$${\displaystyle \mathbf {x'} }$${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x'} =\sigma '(\mathbf {W'h} +\mathbf {b'} )}$

где для декодера может не быть отношения к соответствующему для кодера.${\displaystyle \mathbf {\sigma '} ,\mathbf {W'} ,{\text{ and }}\mathbf {b'} }$${\displaystyle \mathbf {\sigma } ,\mathbf {W} ,{\text{ and }}\mathbf {b} }$

Автоэнкодеры обучены минимизировать ошибки восстановления (такие как ошибки в квадрате ), часто называемые « потерями »:

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )=\|\mathbf {x} -\mathbf {x'} \|^{2}=\|\mathbf {x} -\sigma '(\mathbf {W'} (\sigma (\mathbf {Wx} +\mathbf {b} ))+\mathbf {b'} )\|^{2}}$

где обычно усредняется по некоторой входной обучающей выборке.${\displaystyle \mathbf {x} }$

Как упоминалось ранее, обучение автокодировщика выполняется путем обратного распространения ошибки, как и в обычной нейронной сети с прямой связью .

Если пространство признаков имеет меньшую размерность, чем пространство ввода , вектор признаков можно рассматривать как сжатое представление ввода . Это случай undercomplete автоассоциатор. Если скрытые слои больше, чем ( избыточные автокодеры) , или равны входному слою, или скрытым единицам предоставлена ​​достаточная емкость, автокодировщик потенциально может изучить функцию идентификации и стать бесполезным. Однако экспериментальные результаты показали, что в этих случаях автокодеры все еще могут изучать полезные функции . ^[13]${\displaystyle {\mathcal {F}}}$${\displaystyle {\mathcal {X}}}$${\displaystyle \phi (x)}$${\displaystyle x}$В идеале нужно иметь возможность адаптировать размер кода и емкость модели в зависимости от сложности моделируемого распределения данных. Один из способов сделать это - использовать варианты модели, известные как регулярные автоэнкодеры. ^[2]

Варианты [ править ]

Регулярные автокодеры [ править ]

Существуют различные методы, предотвращающие изучение автоэнкодерами функции идентификации и улучшающие их способность захватывать важную информацию и изучать более богатые представления.

Редкий автоэнкодер (SAE) [ править ]

Когда представления изучаются таким образом, чтобы поощрять разреженность, повышается производительность задач классификации. ^[14] Разреженный автоэнкодер может включать больше (а не меньше) скрытых единиц, чем входов, но только небольшое количество скрытых единиц может быть активным одновременно. ^[12] Это ограничение разреженности заставляет модель реагировать на уникальные статистические особенности обучающих данных.

В частности, разреженный автокодер - это автокодер, критерий обучения которого включает штраф за разреженность на уровне кода .${\displaystyle \Omega ({\boldsymbol {h}})}$${\displaystyle {\boldsymbol {h}}}$

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\Omega ({\boldsymbol {h}})}$

Напомним , что штраф побуждает модель активировать (т. Е. Выходное значение, близкое к 1) определенные области сети на основе входных данных, при этом инактивируя все другие нейроны (т. Е. Иметь выходное значение, близкое к 0). ^[15]${\displaystyle {\boldsymbol {h}}=f({\boldsymbol {W}}{\boldsymbol {x}}+{\boldsymbol {b}})}$

Этой разреженности можно добиться, сформулировав условия штрафов по-разному.

• Один из способов - использовать расхождение Кульбака-Лейблера (KL) . ^{[14] [15] [16] [17]} Пусть

${\displaystyle {\hat {\rho _{j}}}={\frac {1}{m}}\sum _{i=1}^{m}[h_{j}(x_{i})]}$

- средняя активация скрытого блока (усредненная по обучающим примерам). Обозначение идентифицирует входное значение, вызвавшее активацию. Чтобы побудить большинство нейронов быть неактивными, оно должно быть близко к 0. Следовательно, этот метод применяет ограничение, где - параметр разреженности, значение, близкое к нулю. Срок наказания принимает форму, предусматривающую наказание за значительное отклонение от расхождения KL:${\displaystyle j}$${\displaystyle m}$${\displaystyle h_{j}(x_{i})}$${\displaystyle {\hat {\rho _{j}}}}$${\displaystyle {\hat {\rho _{j}}}=\rho }$${\displaystyle \rho }$${\displaystyle \Omega ({\boldsymbol {h}})}$${\displaystyle {\hat {\rho _{j}}}}$${\displaystyle \rho }$

${\displaystyle \sum _{j=1}^{s}KL(\rho ||{\hat {\rho _{j}}})=\sum _{j=1}^{s}\left[\rho \log {\frac {\rho }{\hat {\rho _{j}}}}+(1-\rho )\log {\frac {1-\rho }{1-{\hat {\rho _{j}}}}}\right]}$ где - суммирование по скрытым узлам в скрытом слое, а - KL-расхождение между случайной величиной Бернулли со средним значением и случайной величиной Бернулли со средним значением . ^[15]${\displaystyle j}$${\displaystyle s}$${\displaystyle KL(\rho ||{\hat {\rho _{j}}})}$${\displaystyle \rho }$${\displaystyle {\hat {\rho _{j}}}}$

• Другой способ добиться разреженности - применить к активации условия регуляризации L1 или L2, масштабируемые определенным параметром . ^[18] Например, в случае L1 функция потерь принимает вид${\displaystyle \lambda }$

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\lambda \sum _{i}|h_{i}|}$

• Еще одна предлагаемая стратегия принудительной разреженности заключается в ручном обнулении всех активаций скрытых модулей, кроме самых сильных ( k-разреженный автоэнкодер ). ^[19] K-разреженный автокодер основан на линейном автокодировщике (т.е. с линейной функцией активации) и связанных весах. Идентификация самых сильных активаций может быть достигнута путем сортировки действий и сохранения только первых k значений или использования скрытых модулей ReLU с пороговыми значениями, которые адаптивно регулируются, пока не будут идентифицированы k самых больших активностей. Этот выбор действует аналогично ранее упомянутым условиям регуляризации в том, что он не позволяет модели реконструировать входные данные с использованием слишком большого количества нейронов. ^[19]

Автоэнкодер с шумоподавлением (DAE) [ править ]

Автоэнкодеры с шумоподавлением (DAE) пытаются добиться хорошего представления, изменяя критерий восстановления . ^[2]

Действительно, DAE принимают частично поврежденный ввод и обучаются восстанавливать исходный неискаженный ввод . На практике целью шумоподавления автокодеров является очистка искаженного ввода или уменьшение шума . Этому подходу присущи два допущения:

• Представления более высокого уровня относительно стабильны и устойчивы к искажению входных данных;
• Чтобы эффективно выполнять шумоподавление, модель должна извлекать функции, отражающие полезную структуру входного распределения. ^[3]

Другими словами, шумоподавление рекомендуется как критерий обучения для обучения извлечению полезных функций, которые будут лучше представлять входные данные на более высоком уровне. ^[3]

Тренировочный процесс DAE работает следующим образом:

• Первоначальный ввод искажается через стохастическое отображение .${\displaystyle x}$${\displaystyle {\boldsymbol {\tilde {x}}}}$${\displaystyle {\boldsymbol {\tilde {x}}}\thicksim q_{D}({\boldsymbol {\tilde {x}}}|{\boldsymbol {x}})}$
• Поврежденный ввод затем преобразуется в скрытое представление с помощью того же процесса стандартного автокодировщика .${\displaystyle {\boldsymbol {\tilde {x}}}}$${\displaystyle {\boldsymbol {h}}=f_{\theta }({\boldsymbol {\tilde {x}}})=s({\boldsymbol {W}}{\boldsymbol {\tilde {x}}}+{\boldsymbol {b}})}$
• Модель реконструирует из скрытого представления . ^[3]${\displaystyle {\boldsymbol {z}}=g_{\theta '}({\boldsymbol {h}})}$

Параметры модели и обучаются так, чтобы минимизировать среднюю ошибку восстановления по обучающим данным, в частности, минимизировать разницу между исходным неповрежденным входом . ^[3] Обратите внимание, что каждый раз, когда случайный пример представляется модели, новая поврежденная версия генерируется стохастически на основе .${\displaystyle \theta }$${\displaystyle \theta '}$${\displaystyle {\boldsymbol {z}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle q_{D}({\boldsymbol {\tilde {x}}}|{\boldsymbol {x}})}$

Вышеупомянутый учебный процесс можно применить к любому коррупционному процессу. Некоторыми примерами могут быть аддитивный изотропный гауссовский шум, маскирующий шум (часть входного сигнала, выбранная случайным образом для каждого примера, принудительно равна 0) или шум соли и перца (часть входного сигнала, выбранного случайным образом для каждого примера, устанавливается равным 0). его минимальное или максимальное значение с равномерной вероятностью). ^[3]

Искажение ввода выполняется только во время обучения. После того, как модель изучила оптимальные параметры, для извлечения представлений из исходных данных не будет добавлено никаких повреждений.

Сжимающий автоэнкодер (CAE) [ править ]

Сжимающий автокодировщик добавляет в свою целевую функцию явный регуляризатор, который заставляет модель изучать кодирование, устойчивое к небольшим изменениям входных значений. Это регуляризатор соответствует фробениусовой норме от матрицы Якоби из активаций датчика по отношению к входу. Поскольку штраф применяется только к обучающим примерам, этот термин заставляет модель узнавать полезную информацию о обучающем распределении. Конечная целевая функция имеет следующий вид:

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\lambda \sum _{i}||\nabla _{x}h_{i}||^{2}}$

Автокодировщик называют сжимающим, потому что CAE рекомендуется отображать окрестности входных точек в меньшую окрестность выходных точек. ^[2]

DAE подключается к CAE: в пределе небольшого гауссовского входного шума DAE заставляют функцию восстановления сопротивляться небольшим, но конечным входным возмущениям, в то время как CAE заставляют извлеченные функции сопротивляться бесконечно малым входным возмущениям.

Вариационный автоэнкодер (VAE) [ править ]

Было предложено разделить этот раздел на другую статью под названием « Вариационный автоэнкодер» . ( Обсудить ) (май 2020 г.)

Вариационные автокодеры (VAE) - это генеративные модели , похожие на генеративные состязательные сети . ^[20] Их связь с этой группой моделей происходит в основном из-за архитектурного сходства с базовым автокодировщиком (конечная цель обучения включает кодировщик и декодер), но их математическая формулировка значительно отличается. ^[21] VAE представляют собой направленные вероятностные графические модели (DPGM), апостериорные значения которых аппроксимируются нейронной сетью , образуя архитектуру, подобную автоэнкодеру. ^{[20] [22]} В отличие от дискриминантного моделирования, которое направлено на изучение предиктора на основе наблюдения, генеративное моделированиепытается узнать, как генерируются данные, и отразить лежащие в основе причинно-следственные связи. Причинно-следственные связи обладают потенциалом обобщения. ^[4]

Модели вариационного автоэнкодера делают сильные предположения относительно распределения скрытых переменных . Они используют вариационный подход для обучения скрытому представлению, что приводит к дополнительному компоненту потерь и специальной оценке для алгоритма обучения, называемой стохастическим градиентно-вариационным байесовским оценщиком (SGVB). ^[10] Предполагается, что данные генерируются направленной графической моделью и что кодировщик изучает приближение к апостериорному распределению, где и${\displaystyle p_{\theta }(\mathbf {x} |\mathbf {h} )}$${\displaystyle q_{\phi }(\mathbf {h} |\mathbf {x} )}$ ${\displaystyle p_{\theta }(\mathbf {h} |\mathbf {x} )}$${\displaystyle \mathbf {\phi } }$${\displaystyle \mathbf {\theta } }$обозначают параметры кодера (модель распознавания) и декодера (генеративная модель) соответственно. Распределение вероятностей скрытого вектора VAE обычно соответствует таковому для обучающих данных намного ближе, чем у стандартного автокодировщика. Задача VAE имеет следующий вид:

${\displaystyle {\mathcal {L}}(\mathbf {\phi } ,\mathbf {\theta } ,\mathbf {x} )=D_{\mathrm {KL} }(q_{\phi }(\mathbf {h} |\mathbf {x} )\Vert p_{\theta }(\mathbf {h} ))-\mathbb {E} _{q_{\phi }(\mathbf {h} |\mathbf {x} )}{\big (}\log p_{\theta }(\mathbf {x} |\mathbf {h} ){\big )}}$

Здесь обозначает расхождение Кульбака – Лейблера . Приоритет перед скрытыми переменными обычно устанавливается как центрированный изотропный многомерный гауссовский ; однако были рассмотрены альтернативные конфигурации. ^[23]${\displaystyle D_{\mathrm {KL} }}$ ${\displaystyle p_{\theta }(\mathbf {h} )={\mathcal {N}}(\mathbf {0,I} )}$

Обычно форма вариационного распределения и распределения правдоподобия выбирается так, чтобы они были факторизованы гауссианами:

${\displaystyle {\begin{aligned}q_{\phi }(\mathbf {h} |\mathbf {x} )&={\mathcal {N}}({\boldsymbol {\rho }}(\mathbf {x} ),{\boldsymbol {\omega }}^{2}(\mathbf {x} )\mathbf {I} ),\\p_{\theta }(\mathbf {x} |\mathbf {h} )&={\mathcal {N}}({\boldsymbol {\mu }}(\mathbf {h} ),{\boldsymbol {\sigma }}^{2}(\mathbf {h} )\mathbf {I} ),\end{aligned}}}$

где и - выходы кодера, а и - выходы декодера. Этот выбор оправдан упрощениями ^[10], которые он производит при оценке как расхождения KL, так и члена правдоподобия в вариационной цели, определенной выше.${\displaystyle {\boldsymbol {\rho }}(\mathbf {x} )}$${\displaystyle {\boldsymbol {\omega }}^{2}(\mathbf {x} )}$${\displaystyle {\boldsymbol {\mu }}(\mathbf {h} )}$${\displaystyle {\boldsymbol {\sigma }}^{2}(\mathbf {h} )}$

VAE подвергались критике за то, что они создают размытые изображения. ^[24] Однако исследователи, использующие эту модель, показали только среднее значение распределений , а не образец изученного гауссовского распределения.${\displaystyle {\boldsymbol {\mu }}(\mathbf {h} )}$

${\displaystyle \mathbf {x} \sim {\mathcal {N}}({\boldsymbol {\mu }}(\mathbf {h} ),{\boldsymbol {\sigma }}^{2}(\mathbf {h} )\mathbf {I} )}$.

Было показано, что эти образцы слишком зашумлены из-за выбора факторизованного распределения Гаусса. ^{[24] [25]} Используя распределение Гаусса с полной ковариационной матрицей,

${\displaystyle p_{\theta }(\mathbf {x} |\mathbf {h} )={\mathcal {N}}({\boldsymbol {\mu }}(\mathbf {h} ),{\boldsymbol {\Sigma }}(\mathbf {h} )),}$

может решить эту проблему, но является трудноразрешимым с вычислительной точки зрения и численно нестабильным, так как требует оценки ковариационной матрицы на основе единственной выборки данных ^{[ необходима цитата ]} . Однако более поздние исследования ^{[24] [25]} показали, что ограниченный подход, когда обратная матрица разрежена, может генерировать изображения с высокочастотными деталями.${\displaystyle {\boldsymbol {\Sigma }}^{-1}(\mathbf {h} )}$

Крупномасштабные модели VAE были разработаны в разных областях для представления данных в компактном вероятностном скрытом пространстве. Например, VQ-VAE ^[26] для генерации изображений и Optimus ^[27] для языкового моделирования.

Преимущества глубины [ править ]

Автоэнкодеры часто обучаются с помощью однослойного кодировщика и однослойного декодера, но использование глубоких (многоуровневых) кодеров и декодеров дает много преимуществ. ^[2]

• Глубина может экспоненциально снизить вычислительные затраты на представление некоторых функций. ^[2]
• Глубина может экспоненциально уменьшить количество обучающих данных, необходимых для изучения некоторых функций. ^[2]
• Экспериментально глубокие автоэнкодеры дают лучшее сжатие по сравнению с мелкими или линейными автоэнкодерами. ^[28]

Обучение [ править ]

Джеффри Хинтон разработал методику обучения многослойных глубоких автоэнкодеров. Его метод включает в себя обработку каждого соседнего набора из двух слоев как ограниченной машины Больцмана, чтобы предварительное обучение приближало хорошее решение, а затем использование обратного распространения ошибки для точной настройки результатов. ^[28] Эта модель получила название сети глубоких убеждений .

Исследователи обсуждают, будет ли совместное обучение (т.е. обучение всей архитектуры вместе с единственной целью глобальной реконструкции для оптимизации) лучше для глубинных автокодировщиков. ^[29] Исследование 2015 года показало, что при совместном обучении изучаются более качественные модели данных, а также более репрезентативные функции для классификации по сравнению с послойным методом. ^[29] Однако их эксперименты показали, что успех совместного обучения сильно зависит от принятых стратегий регуляризации. ^{[29] [30]}

Приложения [ править ]

Двумя основными приложениями автоэнкодеров являются уменьшение размерности и поиск информации ^[2], но современные варианты оказались успешными при применении к различным задачам.

Снижение размерности [ править ]

Снижение размерности было одним из первых приложений глубокого обучения и одним из первых мотивов изучения автоэнкодеров. ^[2] Задача состоит в том, чтобы найти подходящий метод проецирования, который отображает данные из пространства высоких характеристик в пространство низких элементов. ^[2]

Одной из важных статей по этому вопросу была статья Хинтона 2006 г .: ^[28] в этом исследовании он предварительно обучил многослойный автоэнкодер со стеком RBM, а затем использовал их веса для инициализации глубокого автоэнкодера с постепенно уменьшающимися скрытыми слоями, пока не натолкнулся на узкое место 30 нейронов. Полученные 30 измерений кода дали меньшую ошибку реконструкции по сравнению с первыми 30 компонентами анализа главных компонентов (PCA) и получили представление, которое было качественно легче интерпретировать, четко разделяя кластеры данных. ^{[2] [28]}

Представление данных в пространстве меньшей размерности может улучшить производительность таких задач, как классификация. ^[2] Действительно, многие формы уменьшения размерности помещают семантически связанные примеры рядом друг с другом ^{[32], что} способствует обобщению.

Анализ главных компонентов [ править ]

Если используются линейные активации или только один скрытый сигмовидный слой, то оптимальное решение для автокодировщика сильно связано с анализом главных компонентов (PCA). ^{[33] [34]} Веса автоэнкодера с одним скрытым слоем размера (где меньше размера входных данных) охватывают то же векторное подпространство, что и подпространство первых главных компонентов, а выходные данные автоэнкодера является ортогональной проекцией на это подпространство. Веса автокодера не равны основным компонентам и, как правило, не ортогональны, однако главные компоненты могут быть восстановлены из них с использованием разложения по сингулярным значениям . ^[35]${\displaystyle p}$${\displaystyle p}$${\displaystyle p}$

Однако потенциал автоэнкодеров заключается в их нелинейности, позволяя модели изучать более мощные обобщения по сравнению с PCA и восстанавливать входные данные со значительно меньшей потерей информации. ^[28]

Поиск информации [ править ]

Информационный поиск выигрывает, в частности, от уменьшения размерности, поскольку поиск может стать более эффективным в определенных типах низкоразмерных пространств. Автоэнкодеры действительно применялись для семантического хеширования, предложенного Салахутдиновым и Хинтоном в 2007 году. ^[32] Обучая алгоритм для создания низкоразмерного двоичного кода, все записи базы данных могут быть сохранены в хэш-таблице, отображающей двоичные кодовые векторы на записи. Затем эта таблица будет поддерживать поиск информации, возвращая все записи с тем же двоичным кодом, что и запрос, или немного менее похожие записи, перевернув некоторые биты из кодировки запроса.

Обнаружение аномалий [ править ]

Еще одно приложение для автоэнкодеров - обнаружение аномалий . ^{[36] [37] [38] [39]} Благодаря обучению воспроизведению наиболее характерных особенностей обучающих данных при некоторых из описанных ранее ограничений, модель поощряется к тому, чтобы научиться точно воспроизводить наиболее часто наблюдаемые характеристики. При столкновении с аномалиями модель должна ухудшить свои характеристики восстановления. В большинстве случаев для обучения автоэнкодера используются только данные с нормальными экземплярами; в других случаях частота аномалий мала по сравнению с набором наблюдений, поэтому их вклад в изученное представление можно игнорировать. После обучения автоэнкодер будет точно реконструировать «нормальные» данные, но не сможет сделать это с незнакомыми аномальными данными.^[37] Ошибка реконструкции (ошибка между исходными данными и их реконструкцией малой размерности) используется в качестве оценки аномалии для обнаружения аномалий. ^[37]

Однако недавняя литература показала, что некоторые модели автокодирования могут, как ни странно, очень хорошо восстанавливать аномальные примеры и, следовательно, не могут надежно выполнять обнаружение аномалий. ^{[40] [41]}

Обработка изображений [ править ]

Характеристики автоэнкодеров полезны при обработке изображений.

Один из примеров можно найти в сжатии изображений с потерями , когда автокодеры превзошли другие подходы и оказались конкурентоспособными с JPEG 2000 . ^{[42] [43]}

Еще одно полезное применение автоэнкодеров при предварительной обработке изображений - это шумоподавление . ^{[44] [45] [46]}

Автоэнкодеры нашли применение в более сложных контекстах, таких как медицинская визуализация, где они использовались для шумоподавления изображений ^[47], а также для сверхвысокого разрешения ^{[48] [49]} В диагностике с использованием изображений в экспериментах автоэнкодеры применялись для обнаружения рака груди ^{[50] ]} и для моделирования связи между когнитивным снижением болезни Альцгеймера и скрытыми функциями автоэнкодера, обученного с помощью МРТ . ^[51]

Открытие лекарств [ править ]

В 2019 году молекулы, созданные с помощью вариационных автокодировщиков, были проверены экспериментально на мышах. ^{[52] [53]}

Прогноз популярности [ править ]

Недавно составная структура автоэнкодера дала многообещающие результаты в прогнозировании популярности сообщений в социальных сетях ^[54], что полезно для стратегий онлайн-рекламы.

Машинный перевод [ править ]

Автоэнкодер был применен для машинного перевода , который обычно называют нейронным машинным переводом (NMT). ^{[55] [56]} В NMT тексты обрабатываются как последовательности, которые должны быть закодированы в процедуру обучения, в то время как на стороне декодера генерируются целевые языки. Специфичные для языка автоэнкодеры включают лингвистические функции в процедуру обучения, такие как функции разложения китайского языка. ^[57]

См. Также [ править ]

• Репрезентативное обучение
• Скудное изучение словаря
• Глубокое обучение

Ссылки [ править ]