Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Различие между обычными настройками машинного обучения и трансферным обучением, а также позиционирование адаптации предметной области.

Адаптация домена [1] [2] [3] - это область, связанная с машинным обучением и трансферным обучением . Этот сценарий возникает, когда мы стремимся изучить из исходного распределения данных хорошо работающую модель на другом (но связанном) целевом распределении данных. Например, одна из задач общей проблемы фильтрации спама состоит в адаптации модели от одного пользователя (исходное распределение) к новому пользователю, который получает существенно разные электронные письма (целевое распределение). Адаптация предметной области также оказалась полезной для изучения несвязанных источников. [4] Обратите внимание, что, когда доступно более одного распределения источника, проблема упоминается как адаптация домена с несколькими источниками.[5]

Обзор [ править ]

Адаптация домена - это способность применять алгоритм, обученный в одном или нескольких «исходных доменах», к другому (но связанному) «целевому домену». Адаптация предметной области - это подкатегория трансферного обучения. При адаптации домена исходный и целевой домены имеют одно и то же пространство функций (но разные распределения); Напротив, трансферное обучение включает случаи, когда пространство признаков целевого домена отличается от пространства или пространств исходных объектов. [6]

Сдвиг домена [ править ]

Сдвиг домена , [7] или дистрибутивный сдвиг , [8] представляет собой изменение в распределении данных между обучающим набором данными алгоритма , , и набором данными он сталкивается при развертывании. Эти сдвиги доменов обычны в практических приложениях искусственного интеллекта. Обычные алгоритмы машинного обучения часто плохо адаптируются к сдвигам предметной области. У современного сообщества машинного обучения есть много разных стратегий, чтобы попытаться улучшить адаптацию предметной области. [7]

Примеры [ править ]

  • Алгоритм, обученный в новостных лентах, возможно, придется адаптировать к новому набору данных биомедицинских документов. [9]
  • Спам-фильтр, обученный определенной группе пользователей электронной почты во время обучения, должен адаптироваться к новому целевому пользователю при развертывании. [10]
  • Применение диагностических алгоритмов ИИ, обученных на размеченных данных, связанных с предыдущими заболеваниями, к новым немаркированным данным, связанным с пандемией COVID-19 . [11]
  • Внезапные изменения в обществе, такие как вспышка пандемии, могут представлять собой сдвиг в предметной области и приводить к сбою алгоритмов машинного обучения, обученных на уже устаревших данных потребителей, и необходимости вмешательства. [12] [13]

Другие приложения включают обнаружение локализации Wi-Fi и многие аспекты компьютерного зрения . [6]

Формализация [ править ]

Пусть будет входным пространством (или пространством описания) и пусть будет выходным пространством (или пространством меток). Цель алгоритма машинного обучения - изучить математическую модель (гипотезу), способную прикрепить метку от к примеру от . Эта модель изучена на обучающей выборке .

Обычно при обучении с учителем (без адаптации предметной области) мы предполагаем, что примеры взяты из некоторого распределения поддержки (неизвестного и фиксированного). Затем цель состоит в том, чтобы научиться (из ) таким образом, чтобы он допускал наименьшие возможные ошибки при маркировке новых примеров, поступающих из дистрибутива .

Основное различие между обучением с учителем и адаптацией предметной области состоит в том, что в последней ситуации мы изучаем два разных (но связанных) распределения и на [ необходима ссылка ] . Тогда задача адаптации домена состоит из передачи знаний из исходного домена в целевой . Затем цель состоит в том, чтобы научиться (из меченых или немаркированных образцов, поступающих из двух доменов), чтобы он допускал как можно меньше ошибок в целевом домене [ необходима цитата ] .

Основная проблема заключается в следующем: если модель извлекается из исходного домена, какова ее способность правильно маркировать данные, поступающие из целевого домена?

Различные типы адаптации домена [ править ]

Есть несколько контекстов адаптации домена. Они различаются информацией, учитываемой для целевой задачи.

  1. Адаптации без присмотра домена : Обучающееся образец содержит набор меченых примеров источника, набор примеров немеченых источников и набор примеров немеченых мишеней.
  2. Адаптация полуобучаемого домена : в этой ситуации, мы также рассмотрим «небольшой» набор меченых целевых примеров.
  3. Адаптация контролируемого домена : все Рассмотренные примеры должны быть промаркированы.

Четыре алгоритмических принципа [ править ]

Алгоритмы повторного взвешивания [ править ]

Задача состоит в том, чтобы повторно взвесить исходную маркированную выборку, чтобы она «выглядела» как целевая выборка (с точки зрения рассматриваемой меры погрешности). [14] [15]

Итерационные алгоритмы [ править ]

Метод адаптации состоит в итеративном "автоматическом пометке" целевых примеров. Принцип прост:

  1. модель узнается из помеченных примеров;
  2. автоматически помечает некоторые целевые примеры;
  3. новая модель узнается из новых помеченных примеров.

Обратите внимание, что существуют и другие итерационные подходы, но для них обычно требуются примеры с пометкой цели. [16] [17]

Поиск общего пространства представления [ править ]

Цель состоит в том, чтобы найти или построить общее пространство представления для двух областей. Цель состоит в том, чтобы получить пространство, в котором домены расположены близко друг к другу, при сохранении хорошей производительности задачи маркировки источников. Это может быть достигнуто за счет использования методов состязательного машинного обучения, при которых рекомендуется, чтобы представления функций из образцов в разных областях были неразличимы. [18] [19]

Иерархическая байесовская модель [ править ]

Цель состоит в том, чтобы построить байесовскую иерархическую модель , которая, по сути, является моделью факторизации для подсчетов , чтобы вывести зависящие от предметной области латентные представления, допускающие как специфические для предметной области, так и глобально общие латентные факторы. [4]

Ссылки [ править ]

  1. ^ Редько, Евгений; Морвант, Эмили; Хабрард, Амори; Себбан, Марк; Беннани, Юнес (2019). Успехи в теории адаптации предметной области . ISTE Press - Elsevier. п. 187. ISBN. 9781785482366.
  2. ^ Уздечка, Джон С .; Кокс, Стивен Дж (1990). «RecNorm: одновременная нормализация и классификация, применяемые к распознаванию речи» (PDF) . Конференция по нейронным системам обработки информации (NIPS) . С. 234–240.
  3. ↑ Бен-Давид, Шай; Блитцер, Джон; Краммер, Коби; Кулеша, Алекс; Перейра, Фернандо; Вортман Воган, Дженнифер (2010). «Теория обучения из разных областей» (PDF) . Машинное обучение . 79 (1–2): 151–175. DOI : 10.1007 / s10994-009-5152-4 .
  4. ^ a b Хаджирамезанали, Эхсан; Сиамак Замани Дадане; Карбалайгарах, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2018). «Байесовское многодоменное обучение для обнаружения подтипа рака на основе данных секвенирования следующего поколения». arXiv : 1810.09433 [ stat.ML ].
  5. ^ Краммер, Коби; Кирнс, Майкл; Вортман, Дженифер (2008). «Обучение из разных источников» (PDF) . Журнал исследований в области машинного обучения . 9 : 1757–1774.
  6. ^ а б Сунь, Шилян; Ши, Хунлей; У Юаньбинь (июль 2015 г.). «Обзор адаптации домена с несколькими источниками». Информационный фьюжн . 24 : 84–92. DOI : 10.1016 / j.inffus.2014.12.003 .
  7. ^ a b Сун, Баочен, Цзиаши Фэн и Кейт Саенко. «Возвращение удручающе простой адаптации домена». На тридцатой конференции AAAI по искусственному интеллекту. 2016 г.
  8. ^ Amodei, Dario, Крис Олы, Джейкоб Стейнхардт, Пол Кристиано~d, Джон Шульман, и Дэн Мане. «Конкретные проблемы безопасности ИИ». Препринт arXiv arXiv: 1606.06565 (2016).
  9. ^ Дауме III, Hal. «Удивительно простая адаптация домена». Препринт arXiv arXiv: 0907.1815 (2009).
  10. ^ Бен-Давид, Шай, Джон Blitzer, Коби Crammer и Фернандо Перейра. «Анализ представлений для адаптации предметной области». В "Достижения в системах обработки нейронной информации", стр. 137-144. 2007 г.
  11. ^ Ху, Ипэн; Иаков, Иосиф; Паркер, Джеффри Дж. М.; Хоукс, Дэвид Дж .; Херст, Джон Р .; Стоянов, Данаил (июнь 2020 г.). «Проблемы развертывания моделей искусственного интеллекта в условиях быстро развивающейся пандемии» . Природа Машинный интеллект . 2 (6): 298–300. DOI : 10.1038 / s42256-020-0185-2 . ISSN 2522-5839 . 
  12. ↑ Мэтьюз, Дилан (26 марта 2019 г.). «ИИ-катастрофа не будет похожа на Терминатора. Она будет более жуткой» . Vox . Проверено 21 июня 2020 .
  13. ^ «Наше странное поведение во время пандемии противоречит моделям ИИ» . Обзор технологий Массачусетского технологического института . 11 мая 2020 . Проверено 21 июня 2020 .
  14. ^ Хуанг, Цзяюань; Смола, Александр Дж .; Греттон, Артур; Borgwardt, Karster M .; Шёлкопф, Бернхард (2006). «Корректировка смещения выборки с помощью немаркированных данных» (PDF) . Конференция по нейронным системам обработки информации (NIPS) . С. 601–608.
  15. ^ Shimodaira, Хидэтоси (2000). «Улучшение прогнозного вывода при ковариатном сдвиге путем взвешивания функции логарифма правдоподобия» . Журнал статистического планирования и вывода . 90 (2): 227–244. DOI : 10.1016 / S0378-3758 (00) 00115-4 .
  16. ^ Ариф-Анг, IB; Салим, ФО; Гамильтон, М. (8 ноября 2017 г.). DA-HOC: адаптация полууправляемой области для прогнозирования занятости комнаты с использованием данных датчика CO2 . 4-я Международная конференция ACM по системам для энергоэффективных построенных сред (BuildSys). Делфт, Нидерланды. С. 1–10. DOI : 10.1145 / 3137133.3137146 . ISBN 978-1-4503-5544-5.
  17. ^ Ариф-Анг, IB; Гамильтон, М .; Салим, ФО (2018-12-01). «Масштабируемое прогнозирование занятости комнаты с переносимым разложением временного ряда данных датчика CO2». ACM-транзакции в сенсорных сетях . 14 (3–4): 21: 1–21: 28. DOI : 10.1145 / 3217214 .
  18. ^ Ганин, Ярослав; Устинова, Евгения; Аджакан, Хана; Жермен, Паскаль; Ларошель, Хьюго; Лавиолетт, Франсуа; Маршан, Марио; Лемпицкий, Виктор (2016). «Предметно-состязательное обучение нейронных сетей» (PDF) . Журнал исследований в области машинного обучения . 17 : 1–35.
  19. ^ Hajiramezanali, Ehsan; Сиамак Замани Дадане; Карбалайгарах, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2017). «Решение проблемы изменения внешнего вида в наружной робототехнике с адаптацией противоборства». arXiv : 1703.01461 [ cs.RO ].