В (контролируемом) машинном обучении , особенно при обучении на основе данных, бывают ситуации, когда значения данных не могут быть смоделированы. Это может возникнуть, если есть случайные флуктуации или ошибки измерения в данных, которые не моделируются, и может быть соответственно назван стохастическим шумом ; или, когда моделируемое (или изучаемое) явление слишком сложно, и поэтому данные содержат эту дополнительную сложность, которая не моделируется. Эта дополнительная сложность данных была названа детерминированным шумом . [1]Хотя эти два типа шума возникают по разным причинам, их неблагоприятное влияние на обучение одинаково. Переобучение происходит потому, что модель пытается подогнать (стохастический или детерминированный) шум (ту часть данных, которую она не может смоделировать) за счет подгонки той части данных, которую она может моделировать. Когда присутствует какой-либо тип шума, обычно рекомендуется упорядочить алгоритм обучения, чтобы предотвратить переобучение модели под данные и снижение производительности. Регуляризация обычно приводит к модели с более низкой дисперсией за счет смещения .
Можно также попытаться уменьшить влияние шума путем обнаружения и удаления зашумленных обучающих примеров перед обучением алгоритма обучения с учителем. Существует несколько алгоритмов, которые идентифицируют примеры обучения с шумом, и удаление предполагаемых примеров обучения с шумом перед обучением обычно улучшает производительность. [2] [3]
Рекомендации
- ^ Yaser S.Abu-Мустафы; Малик Магдон-Исмаил; Сюань-Тянь Линь (март 2012 г.). Изучение данных . amlbook.
- ^ CE Brodely и MA Фридл (1999). Выявление и устранение неправильно маркированных учебных заведений, Журнал исследований искусственного интеллекта 11, 131–167. ( http://jair.org/media/606/live-606-1803-jair.pdf Архивировано 12 мая 2016 г. на Wayback Machine )
- ^ Г-н Смит; Т. Мартинес (2011). «Повышение точности классификации путем выявления и удаления экземпляров, которые должны быть неправильно классифицированы». Труды международной совместной конференции по нейронным сетям (IJCNN 2011) . С. 2690–2697. DOI : 10.1109 / IJCNN.2011.6033571 .