Обучение признакам или обучение представлениям[1] — это набор техник, которые позволяют системе автоматически обнаружить представления, необходимые для выявления признаков или классификации исходных (сырых) данных. Это заменяет ручное конструирование признаков и позволяет машине как изучать признаки, так и использовать их для решения специфичных задач.
Обучение признакам вызвано фактом, что в задачах машинного обучения, таких как классификация, часто требуется вход, который удобно обрабатывать математически и вычислительно. Однако реальные данные, такие как изображения, видео и данные датчиков, не поддаются алгоритмическому определению специфичных признаков. Альтернативой является обнаружение таких признаков или представлений путём исследования без опоры на определённые алгоритмы.
Обучение признакам с учителем — это обучение признакам из помеченных данных. Пометки данных позволяют системе вычислить величину погрешности, то есть уровень, при превышении которого система не может воспроизвести пометку, кроме того, величина погрешности может затем быть использована как обратная реакция для корректировки процесса обучения (уменьшить/минимизировать ошибку). Обучению с учителем принадлежат следующие подходы:
Словарное обучение создаёт множество (словарь) представительных элементов из входных данных, такой, что каждая точка данных может быть представлена как взвешенная сумма представительных элементов. Элементы словаря и веса можно найти путём минимизации средней ошибки представления (по входным данным) вместе с L1 регуляризацией на весах для обеспечения разреженности (т.е. представление каждой точки данных имеет лишь несколько ненулевых весов).
Словарное обучение с учителем использует как структуру лежащих в основе входных данных, так и метки для оптимизации словарных элементов. Например, техника словарного обучения с учителем[6] применяется к словарному обучению для задач классификации путём совместной оптимизации словарных элементов, весов для представляющих данные точек и параметров классификации, основываясь на входных данных. В частности, формулируется задача минимизации, в которой целевая функция включает ошибку классификации, ошибку представления, L1 регуляризации весов для каждой точки (для обеспечения разреженности данных) и L2 регуляризации на параметрах классификатора.