В машинном обучении , ленивым обучение является методом обучения , в котором обобщение обучающих данных , теоретически, задерживается до тех пор , запрос не выполнен в систему, в отличии от нетерпеливого обучения , где система пытается обобщить обучающие данные до приема запросов .
Основная мотивация для использования ленивого обучения, как в алгоритме K-ближайших соседей , используемом системами онлайн- рекомендаций («люди, которые смотрели / покупали / слушали этот фильм / элемент / мелодию также ...»), заключается в том, что набор данных является постоянно обновляется новыми записями (например, новые товары для продажи на Amazon, новые фильмы для просмотра на Netflix, новые клипы на YouTube, новая музыка на Spotify или Pandora). Из-за постоянного обновления «обучающие данные» станут устаревшими за относительно короткое время, особенно в таких областях, как книги и фильмы, где постоянно публикуются / выпускаются новые бестселлеры или популярные фильмы / музыка. Поэтому о «тренировочной фазе» говорить не приходится.
Ленивые классификаторы наиболее полезны для больших, постоянно меняющихся наборов данных с небольшим количеством атрибутов, которые обычно запрашиваются. В частности, даже если существует большой набор атрибутов - например, у книг есть год публикации, автор / ы, издатель, название, издание, ISBN, продажная цена и т. Д. - запросы рекомендаций основываются на гораздо меньшем количестве атрибутов, например, покупка или просмотр данных о совместной встречаемости и пользовательских оценок купленных / просмотренных товаров.
Преимущества
Основное преимущество, полученное при использовании метода отложенного обучения, заключается в том, что целевая функция будет аппроксимироваться локально, например, в алгоритме k-ближайшего соседа . Поскольку целевая функция аппроксимируется локально для каждого запроса к системе, системы с отложенным обучением могут одновременно решать несколько задач и успешно справляться с изменениями в предметной области. В то же время они могут повторно использовать множество теоретических и прикладных результатов моделирования линейной регрессии (особенно статистики PRESS ) и контроля. [1] Говорят, что преимущество этой системы достигается, если прогнозы с использованием одного обучающего набора разрабатываются только для нескольких объектов. [2] Это можно продемонстрировать в случае метода k-NN, который основан на экземплярах, а функция оценивается только локально. [3]
Недостатки
К теоретическим недостаткам ленивого обучения относятся:
- Требуется большое пространство для хранения всего набора обучающих данных. На практике это не проблема из-за достижений в области аппаратного обеспечения и относительно небольшого количества атрибутов (например, таких как частота совпадения), которые необходимо сохранить.
- В частности, зашумленные обучающие данные излишне увеличивают базу случаев, потому что во время фазы обучения абстракция не выполняется. На практике, как указывалось ранее, ленивое обучение применяется в ситуациях, когда любое обучение, выполненное заранее, вскоре устареет из-за изменений в данных. Кроме того, для задач, для которых оптимально ленивое обучение, "зашумленные" данные на самом деле не возникают - покупатель книги либо купил другую книгу, либо нет.
- Методы ленивого обучения обычно оцениваются медленнее. На практике для очень больших баз данных с высокой параллельной нагрузкой запросы не откладываются до фактического времени запроса, а заранее пересчитываются на периодической основе - например, каждую ночь, в ожидании будущих запросов, и ответы сохраняются. Таким образом, в следующий раз, когда будут заданы новые запросы о существующих записях в базе данных, ответы будут просто быстро найдены, вместо того, чтобы вычисляться на лету, что почти наверняка поставило бы многопользовательскую систему с высоким уровнем параллелизма на колени. .
- Большие данные для обучения также влекут за собой увеличение затрат. В частности, существует фиксированная сумма вычислительных затрат, когда процессор может обрабатывать только ограниченное количество точек обучающих данных. [4]
Существуют стандартные методы повышения эффективности повторных вычислений, чтобы конкретный ответ не пересчитывался, если только данные, влияющие на этот ответ, не изменились (например, новые элементы, новые покупки, новые просмотры). Другими словами, сохраненные ответы обновляются постепенно.
Этот подход, используемый крупными сайтами электронной коммерции или СМИ, долгое время использовался на портале Entrez Национального центра биотехнологической информации (NCBI) для предварительного вычисления сходства между различными элементами в его больших наборах данных: биологические последовательности, трехмерный белок. структуры, аннотации опубликованных статей и т. д. Поскольку запросы «найти похожие» задаются так часто, NCBI использует высокопараллельное оборудование для выполнения ночных пересчетов. Пересчет выполняется только для новых записей в наборах данных по отношению друг к другу и по отношению к существующим записям: сходство между двумя существующими записями не требуется повторно вычислять.
Примеры ленивых методов обучения
- K-ближайшие соседи , что является частным случаем обучения на основе экземпляров.
- Локальная регрессия .
- Ленивые наивные правила Байеса , которые широко используются в коммерческих программах для обнаружения спама. Здесь спамеры становятся умнее и пересматривают свои стратегии рассылки спама, поэтому правила обучения также должны постоянно обновляться.
Рекомендации
- ^ Бонтемпи, Джанлука; Бираттари, Мауро; Берсини, Хьюз (1 января 1999 г.). «Ленивое обучение для локального моделирования и проектирования управления». Международный журнал контроля . 72 (7–8): 643–658. DOI : 10.1080 / 002071799220830 .
- ^ Саммут, Клод; Уэбб, Джеффри И. (2011). Энциклопедия машинного обучения . Нью-Йорк: Springer Science & Business Media. п. 572. ISBN. 9780387307688.
- ^ Пал, Саураб (2017-11-02). Приложения интеллектуального анализа данных. Сравнительное исследование для прогнозирования успеваемости учащихся . ГРИН Верлаг. ISBN 9783668561458.
- ^ Ага, Дэвид В. (2013). Ленивое обучение . Берлин: Springer Science & Business Media. п. 106. ISBN 9789401720533.
- lazy: Ленивое обучение для локальной регрессии , пакет R со справочным руководством
- «Пакет ленивого обучения» . Архивировано из оригинального 16 февраля 2012 года.
- Уэбб Г.И. (2011) Ленивое обучение. В: Sammut C., Webb GI (eds) Энциклопедия машинного обучения. Спрингер, Бостон, Массачусетс