Индуктивная смещения (также известная как обучение смещения ) алгоритм обучения является множеством предположений о том , что ученик использует для прогнозирования выхода из заданных входов , что он не сталкивался. [1]
В машинном обучении одна цель состоит в создании алгоритмов, способных научиться предсказывать определенный целевой результат. Для этого в алгоритме обучения представлены некоторые обучающие примеры, демонстрирующие предполагаемое соотношение входных и выходных значений. Затем предполагается, что учащийся приблизит правильный результат, даже для примеров, которые не были показаны во время обучения. Без каких-либо дополнительных предположений эта проблема не может быть решена, поскольку невидимые ситуации могут иметь произвольное выходное значение. Необходимые предположения о природе целевой функции включаются в выражение « индуктивное смещение» . [1] [2]
Классическим примером индуктивного смещения является бритва Оккама , предполагающая, что самая простая непротиворечивая гипотеза о целевой функции на самом деле является наилучшей. Здесь согласованность означает, что гипотеза учащегося дает правильные результаты для всех примеров, которые были даны алгоритму.
Подходы к более формальному определению индуктивного смещения основаны на математической логике . Здесь индуктивное смещение - это логическая формула, которая вместе с данными обучения логически влечет за собой гипотезу, выдвинутую учащимся. Однако этот строгий формализм не работает во многих практических случаях, когда индуктивное смещение может быть дано только как грубое описание (например, в случае искусственных нейронных сетей ) или вообще не может быть дано .
Типы [ править ]
Ниже приводится список распространенных индуктивных предубеждений в алгоритмах машинного обучения.
- Максимальная условная независимость : если гипотеза может быть изложена в байесовской структуре, постарайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе .
- Минимальная ошибка перекрестной проверки : при попытке выбрать среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя может показаться, что перекрестная проверка свободна от предвзятости, теоремы «без бесплатного обеда» показывают, что перекрестная проверка должна быть предвзятой.
- Максимальное поле : при рисовании границы между двумя классами попытайтесь максимизировать ширину границы. Это смещение, используемое в машинах опорных векторов . Предполагается, что отдельные классы обычно разделяются широкими границами.
- Минимальная длина описания : при формировании гипотезы постарайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы с большей вероятностью окажутся верными. Это НЕ то, что говорит бритва Оккама. Более простые модели легче проверить, они не «с большей вероятностью будут правдивыми». См. Бритву Оккама .
- Минимальные функции : если нет убедительных доказательств того, что функция полезна, ее следует удалить. Это предположение, лежащее в основе алгоритмов выбора функций .
- Ближайшие соседи : предположим, что большинство случаев в небольшом районе в пространстве признаков принадлежат к одному классу. В случае, когда класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритме k-ближайших соседей . Предполагается, что случаи, которые находятся рядом друг с другом, как правило, принадлежат к одному классу.
Сдвиг предвзятости [ править ]
Хотя большинство алгоритмов обучения имеют статическое смещение, некоторые алгоритмы предназначены для изменения его смещения по мере накопления большего количества данных. [3] Это не позволяет избежать смещения, поскольку сам процесс смещения смещения должен иметь смещение.
См. Также [ править ]
Ссылки [ править ]
- ^ a b Митчелл, TM (1980), Необходимость предвзятости при обучении обобщениям , CBM-TR 5-110, Нью-Брансуик, Нью-Джерси, США: Университет Рутгерса, CiteSeerX 10.1.1.19.5466
- ^ DesJardins, M .; Гордон, Д.Ф. (1995), Оценка и выбор предвзятости в машинном обучении , Журнал машинного обучения, 5: –7
- ^ Утгофф, PE (1984), Сдвиг предвзятости для индуктивного концептуального обучения , Нью-Брансуик, Нью-Джерси, США: докторская диссертация, Департамент компьютерных наук, Университет Рутгерса, ISBN 9780934613002
| Эта статья об искусственном интеллекте незавершена . Вы можете помочь Википедии, расширив ее . |
