Статистическая теория обучения

Машинное обучение и интеллектуальный анализ данных
Часть серии по

Проблемы Классификация Кластеризация Регресс Обнаружение аномалий Очистка данных AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Неконтролируемое обучение Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Теория статистического обучения - это основа для машинного обучения, основанная на статистике и функциональном анализе . ^[1]^[2] Статистическая теория обучения занимается проблемой поиска прогнозирующей функции на основе данных. Теория статистического обучения привела к успешным приложениям в таких областях, как компьютерное зрение , распознавание речи и биоинформатика .

Вступление

Цели обучения - понимание и предсказание. Обучение падает на множество категорий, в том числе подконтрольного обучения , неконтролируемого обучения , онлайн - обучения и обучения с подкреплением . С точки зрения теории статистического обучения, обучение с учителем понимается лучше всего. ^[3] Обучение с учителем включает обучение на основе обучающего набора данных. Каждая точка в обучении представляет собой пару ввода-вывода, где ввод отображается на вывод. Проблема обучения состоит в том, чтобы вывести функцию, которая сопоставляет вход и выход, так что изученная функция может использоваться для прогнозирования выходных данных из будущих входных данных.

В зависимости от типа вывода задачи контролируемого обучения являются либо проблемами регрессии, либо проблемами классификации . Если выходные данные имеют непрерывный диапазон значений, это проблема регрессии. Используя в качестве примера закон Ома , можно выполнить регрессию с напряжением на входе и током на выходе. Регрессия обнаружит, что функциональная связь между напряжением и током будет такой, что ${\ displaystyle R}$

{\ Displaystyle V = IR}

Классификационные проблемы - это те, для которых вывод будет элементом из дискретного набора меток. Классификация очень распространена для приложений машинного обучения. В знак признания лица , например, изображение лица человека будет вход, а метка вывода будет имя этого человека. Входные данные будут представлены большим многомерным вектором, элементы которого представляют пиксели изображения.

После изучения функции, основанной на данных обучающего набора, эта функция проверяется на тестовом наборе данных, данных, которые не появились в обучающем наборе.

Формальное описание

Возьмет быть векторным пространством всех возможных входов, и в векторном пространстве всех возможных выходов. Теория статистического обучения исходит из того, что существует какое-то неизвестное распределение вероятностей по пространству продукта , то есть существует какое-то неизвестное . Обучающий набор состоит из выборок из этого распределения вероятностей и обозначен ${\ displaystyle X}$ ${\ displaystyle Y}$ ${\ Displaystyle Z = X \ раз Y}$ ${\ Displaystyle п (г) = п ({\ vec {х}}, у)}$ ${\ displaystyle n}$

{\ displaystyle S = \ {({\ vec {x}} _ {1}, y_ {1}), \ dots, ({\ vec {x}} _ {n}, y_ {n}) \} = \ {{\ vec {z}} _ {1}, \ dots, {\ vec {z}} _ {n} \}}

Every - это входной вектор из обучающих данных и соответствующий ему выход. ${\ displaystyle {\ vec {x}} _ {я}}$ ${\ displaystyle y_ {i}}$

В этом формализме проблема вывода состоит в нахождении такой функции , что . Позвольте быть пространство функций, называемое пространством гипотез. Пространство гипотез - это пространство функций, которые алгоритм будет искать. Позвольте быть функцией потерь , показателем разницы между прогнозируемым значением и фактическим значением . Ожидаемый риск определяется как ${\ displaystyle f: от X \ до Y}$ $f({\vec {x}})\sim y$ ${\mathcal {H}}$ $f:X\to Y$ $V(f({\vec {x}}),y)$ $f({\vec {x}})$ $y$

I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy

Целевая функция, наилучшая возможная функция, которую можно выбрать, задается тем, что удовлетворяет $f$ $f$

f=\inf _{h\in {\mathcal {H}}}I[h]

Поскольку распределение вероятностей неизвестно, необходимо использовать косвенную меру ожидаемого риска. Эта мера основана на обучающем наборе, образце из этого неизвестного распределения вероятностей. Это называется эмпирическим риском. $p({\vec {x}},y)$

I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})

Алгоритм обучения, который выбирает функцию, которая минимизирует эмпирический риск, называется минимизацией эмпирического риска . $f_{S}$

Функции потерь

Выбор функции потерь является определяющим фактором для функции, которая будет выбрана алгоритмом обучения. Функция потерь также влияет на скорость сходимости алгоритма. Важно, чтобы функция потерь была выпуклой. ^[4] $f_{S}$

В зависимости от того, является ли проблема проблемой регрессии или классификации, используются разные функции потерь.

Регресс

Наиболее распространенной функцией потерь для регрессии является функция потерь в квадрате (также известная как L2-норма ). Эта знакомая функция потерь используется в регрессии обыкновенных наименьших квадратов . Форма такая:

V(f({\vec {x}}),y)=(y-f({\vec {x}}))^{2}

Также иногда используется потеря абсолютного значения (также известная как L1-норма ):

V(f({\vec {x}}),y)=|y-f({\vec {x}})|

Классификация

В некотором смысле индикаторная функция 0-1 является наиболее подходящей функцией естественной убыли для классификации. Он принимает значение 0, если прогнозируемый вывод совпадает с фактическим выводом, и принимает значение 1, если прогнозируемый вывод отличается от фактического вывода. Для бинарной классификации это: $Y=\{-1,1\}$

V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))

где - ступенчатая функция Хевисайда . $\theta$

Регуляризация

Это изображение представляет собой пример переобучения в машинном обучении. Красные точки представляют данные обучающего набора. Зеленая линия представляет истинную функциональную взаимосвязь, а синяя линия показывает изученную функцию, которая была переоборудована для данных обучающего набора.

В задачах машинного обучения основная проблема заключается в переобучении . Поскольку обучение - это проблема прогнозирования, цель состоит не в том, чтобы найти функцию, которая наиболее точно соответствует (ранее наблюдаемым) данным, а в том, чтобы найти такую, которая наиболее точно предсказывает выходные данные из будущих входных данных. Минимизация эмпирического риска сопряжена с риском переобучения: нахождения функции, которая точно соответствует данным, но плохо предсказывает будущие результаты.

Переоснащение симптомом нестабильных решений; небольшое возмущение в данных обучающей выборки вызовет большую вариацию изученной функции. Можно показать, что если устойчивость решения может быть гарантирована, то гарантируются и обобщение, и непротиворечивость. ^[5]^[6] Регуляризация может решить проблему переобучения и придать задаче устойчивость.

Регуляризация может быть достигнута путем ограничения пространства гипотез . Типичный пример - ограничение линейными функциями: это можно рассматривать как сокращение до стандартной проблемы линейной регрессии . также можно ограничить полиномом степени , экспонентой или ограниченными функциями на L1 . Ограничение пространства гипотез позволяет избежать переобучения, поскольку форма потенциальных функций ограничена и, следовательно, не позволяет выбрать функцию, которая дает эмпирический риск, произвольно близкий к нулю. ${\mathcal {H}}$ ${\mathcal {H}}$ ${\mathcal {H}}$ $p$

Одним из примеров регуляризации является регуляризация Тихонова . Это состоит из минимизации

{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})+\gamma \|f\|_{\mathcal {H}}^{2}

где - фиксированный положительный параметр, параметр регуляризации. Регуляризация Тихонова обеспечивает существование, единственность и устойчивость решения. ^[7] $\gamma$

Смотрите также

Воспроизводящие ядерные гильбертовы пространства - полезный выбор для . ${\mathcal {H}}$
Методы проксимального градиента для обучения

использованная литература

^ Тревор Хасти , Роберт Тибширани, Джером Фридман (2009) Элементы статистического обучения , Springer-Verlag ISBN 978-0-387-84857-0 .
^ Мохри, Мехрияр ; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения . США, Массачусетс: MIT Press. ISBN 9780262018258.
^ Томазо Поджио, Лоренцо Росаско и др. Статистическая теория обучения и приложения , 2012, класс 1
^ Rosasco, Л., Вито, ЭД, Caponnetto, А., Fiana, М., 2004. А. Verri нейронные вычисления Том 16, стр 1063-1076
^ Вапник В.Н., Червоненкис, AY 1971. О равномерной сходимости относительных частот событий к их вероятностям . Теория вероятностей и ее приложения Том 16, стр 264-280.
^ Мукерджи, С., Нийоги, П. Поджио, Т. и Рифкин, Р. 2006. Теория обучения: стабильность достаточна для обобщения и необходима и достаточна для согласованности минимизации эмпирического риска . Успехи в вычислительной математике . Том 25, стр 161-193.
^ Томазо Поджио, Лоренцо Росаско и др. Статистическая теория обучения и приложения , 2012, класс 2

[1] Тревор Хасти , Роберт Тибширани, Джером Фридман (2009) Элементы статистического обучения , Springer-Verlag ISBN 978-0-387-84857-0 .

[2] Мохри, Мехрияр ; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения . США, Массачусетс: MIT Press. ISBN 9780262018258.

[3] Томазо Поджио, Лоренцо Росаско и др. Статистическая теория обучения и приложения , 2012, класс 1

[4] Rosasco, Л., Вито, ЭД, Caponnetto, А., Fiana, М., 2004. А. Verri нейронные вычисления Том 16, стр 1063-1076

[5] Вапник В.Н., Червоненкис, AY 1971. О равномерной сходимости относительных частот событий к их вероятностям . Теория вероятностей и ее приложения Том 16, стр 264-280.

[6] Мукерджи, С., Нийоги, П. Поджио, Т. и Рифкин, Р. 2006. Теория обучения: стабильность достаточна для обобщения и необходима и достаточна для согласованности минимизации эмпирического риска . Успехи в вычислительной математике . Том 25, стр 161-193.

[7] Томазо Поджио, Лоренцо Росаско и др. Статистическая теория обучения и приложения , 2012, класс 2