Статистическая теория обучения
Статистическая теория обучения — это модель для машинного обучения на основе статистики и функционального анализа[1][2]. Статистическая теория обучения имеет дело с задачами нахождения функции предсказывания, основанной на данных. Статистическая теория обучения привела к успешным приложениям в таких областях, как компьютерное зрение, распознавание речи и биоинформатика.
Целью обучения является понимание и предвидение. Обучение распадается на несколько категорий, включая обучение с учителем, обучение без учителя, онлайновое обучение и обучение с подкреплением. С точки зрения статистической теории обучения обучение с учителем является наиболее понятным[3]. Обучение с учителем вовлекает обучение с помощью тренировочного набора[англ.] данных. Любой момент тренировки является парой вход/выход, где входное значение отображается в выходное. Задача обучения состоит в реконструкции функции, которая отображает входные значения в выходные так, что функция может быть использована для предсказания вывода при будущих вводах.
В зависимости от типа вывода, задачи обучения с учителем либо являются задачами регрессии, либо задачами классификации. Если вывод может принимать непрерывную область значений, это задача регрессии. Используя закон Ома в качестве примера, регрессия могла бы брать напряжение в качестве входа и выдавать ток как выход. Регрессия могла бы найти связь напряжения и тока как , так что
Задачи классификации — это те, для которых выводом будет элемент из набора меток. Классификация очень обычна для приложений машинного обучения. В системе распознавания лиц, например, изображение лица будет входом, а выходом может быть фамилия человека. Вход может быть представлен как большой многомерный вектор, элементы которого представляют пиксели в изображении.
После обучения функция, основанная на тренировочном наборе данных, это функция проверяется на тестовом наборе данных, которые не появляются в тренировочном наборе.