Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Эта статья посвящена метаобучению в машинном обучении. Для метаобучения в социальной психологии см. Мета-обучение . Для метаобучения в неврологии см. Metalearning (нейробиология) .

Мета-обучение [1] [2] - это подраздел машинного обучения, в котором алгоритмы автоматического обучения применяются к метаданным об экспериментах с машинным обучением. По состоянию на 2017 год термин не нашел стандартной интерпретации, однако основная цель состоит в том, чтобы использовать такие метаданные, чтобы понять, как автоматическое обучение может стать гибким при решении задач обучения, следовательно, для повышения производительности существующих алгоритмов обучения или для изучения (стимулирования) сам алгоритм обучения, отсюда и альтернативный термин « обучение обучению» . [1]

Гибкость важна, потому что каждый алгоритм обучения основан на наборе предположений о данных, их индуктивном смещении . [3] Это означает, что он будет хорошо учиться, только если предвзятость соответствует проблеме обучения. Алгоритм обучения может очень хорошо работать в одной области, но не в другой. Это накладывает серьезные ограничения на использование методов машинного обучения или интеллектуального анализа данных , поскольку взаимосвязь между проблемой обучения (часто это какая-то база данных ) и эффективностью различных алгоритмов обучения еще не изучена.

Используя различные виды метаданных, такие как свойства задачи обучения, свойства алгоритма (например, показатели производительности) или шаблоны, ранее полученные из данных, можно изучать, выбирать, изменять или комбинировать различные алгоритмы обучения для эффективного решения заданного обучения. проблема. Критика подходов к метаобучению очень похожа на критику метаэвристики , возможно, связанной с этим проблемы. Хорошая аналогия с метаобучением и вдохновением для ранних работ Юргена Шмидхубера (1987) [1] и работы Йошуа Бенжио и др. (1991), [4]считает, что генетическая эволюция изучает процедуру обучения, закодированную в генах и выполняемую в мозгу каждого человека. В открытой иерархической системе метаобучения [1], использующей генетическое программирование , лучшие эволюционные методы могут быть изучены с помощью метаэволюции, которая сама может быть улучшена с помощью мета-метаэволюции и т. Д. [1]

Определение [ править ]

Предлагаемое определение [5] для системы метаобучения сочетает в себе три требования:

  • Система должна включать в себя обучающую подсистему.
  • Опыт приобретается за счет использования извлеченных мета-знаний.
    • в предыдущем учебном эпизоде ​​по одному набору данных или
    • из разных доменов.
  • Пристрастие к обучению должно выбираться динамически.

Смещение относится к предположениям, которые влияют на выбор объяснительной гипотезы [6], а не к понятию смещения, представленному в дилемме смещения-дисперсии . Мета-обучение связано с двумя аспектами предвзятости в обучении.

  • Декларативное смещение определяет представление пространства гипотез и влияет на размер пространства поиска (например, представление гипотез с использованием только линейных функций).
  • Процедурная систематическая ошибка накладывает ограничения на порядок индуктивных гипотез (например, предпочтение меньших гипотез). [7]

Общие подходы [ править ]

Есть три общих подхода: [8]

  • 1) использование (циклических) сетей с внешней или внутренней памятью (на основе модели)
  • 2) изучение эффективных показателей расстояния (на основе показателей)
  • 3) явная оптимизация параметров модели для быстрого обучения (на основе оптимизации).

На основе модели [ править ]

Модели метаобучения, основанные на моделях, быстро обновляют свои параметры с помощью нескольких шагов обучения, которые могут быть достигнуты с помощью его внутренней архитектуры или контролироваться другой моделью метаобучения. [8]

Нейронные сети с расширенной памятью [ править ]

Нейронная сеть с расширенной памятью , или сокращенно MANN, как утверждается, способна быстро кодировать новую информацию и, таким образом, адаптироваться к новым задачам после всего лишь нескольких примеров. [9]

Мета-сети [ править ]

Meta Networks (MetaNet) изучает метауровневые знания по задачам и смещает их индуктивные предубеждения с помощью быстрой параметризации для быстрого обобщения. [10]

На основе показателей [ править ]

Основная идея метаобучения на основе метрик похожа на алгоритмы ближайших соседей , вес которых генерируется функцией ядра. Он нацелен на изучение функции метрики или расстояния по объектам. Понятие хорошей метрики зависит от проблемы. Он должен представлять взаимосвязь между входами в пространстве задач и способствовать решению проблем. [8]

Сверточная сиамская нейронная сеть [ править ]

Сиамская нейронная сеть состоит из двух сетей-близнецов, выходные данные которых обучаются совместно. Выше есть функция для изучения взаимосвязи между парами выборок входных данных. Две сети одинаковы, имеют одинаковый вес и параметры сети. [11]

Соответствующие сети [ править ]

Matching Networks изучает сеть, которая сопоставляет небольшой помеченный набор поддержки и немаркированный пример со своей меткой, устраняя необходимость тонкой настройки для адаптации к новым типам классов. [12]

Сеть отношений [ править ]

Сеть отношений (RN) обучается от начала до конца с нуля. Во время метаобучения он учится изучать метрику большого расстояния для сравнения небольшого количества изображений в эпизодах, каждый из которых предназначен для имитации настройки нескольких кадров. [13]

Прототипные сети [ править ]

Прототипные сети изучают метрическое пространство, в котором может выполняться классификация, путем вычисления расстояний до прототипных представлений каждого класса. По сравнению с недавними подходами к обучению с несколькими выстрелами, они отражают более простое индуктивное смещение, которое выгодно в этом режиме ограниченных данных, и позволяют достичь удовлетворительных результатов. [14]

На основе оптимизации [ править ]

Алгоритмы метаобучения, основанные на оптимизации, предназначены для настройки алгоритма оптимизации, чтобы модель могла хорошо учиться на нескольких примерах. [8]

LSTM Meta-Learner [ править ]

Метаобучающийся на основе LSTM должен изучить точный алгоритм оптимизации, используемый для обучения другого классификатора нейронной сети учащегося в режиме нескольких выстрелов. Параметризация позволяет ему изучать соответствующие обновления параметров специально для сценария, в котором будет выполнено заданное количество обновлений, а также изучить общую инициализацию сети учащегося (классификатора), которая обеспечивает быструю сходимость обучения. [15]

Временная дискретность [ править ]

MAML, сокращение от Model-Agnostic Meta-Learning, является довольно общим алгоритмом оптимизации , совместимым с любой моделью, которая обучается посредством градиентного спуска. [16]

Рептилия [ править ]

Reptile - это удивительно простой алгоритм оптимизации метаобучения, учитывая, что оба его компонента полагаются на метаоптимизацию посредством градиентного спуска и оба не зависят от модели. [17]

Примеры [ править ]

Некоторые подходы, которые рассматривались как примеры метаобучения:

  • Рекуррентные нейронные сети (РНС) - универсальные компьютеры. В 1993 году Юрген Шмидхубер показал, как «самореферентные» RNN в принципе могут научиться путем обратного распространения ошибки выполнять свой собственный алгоритм изменения веса, который может сильно отличаться от обратного распространения ошибки. [18] В 2001 году Sepp Hochreiter & AS Younger & PR Conwell создали успешный контролируемый метаобучающийся на основе РНС долгосрочной краткосрочной памяти . Он изучил посредством обратного распространения алгоритм обучения квадратичным функциям, который намного быстрее, чем обратное распространение. [19] [2] Исследователи Deepmind (Марцин Андрыхович и др.) Расширили этот подход на оптимизацию в 2017 году.[20]
  • В 1990-х годах Meta Reinforcement Learning или Meta RL была достигнута в исследовательской группе Шмидхубера посредством самомодифицирующихся политик, написанных на универсальном языке программирования, который содержит специальные инструкции по изменению самой политики. Есть единичный пожизненный суд. Цель агента RL - максимизировать вознаграждение. Он учится ускорять получение вознаграждения, постоянно улучшая свой собственный алгоритм обучения, который является частью политики «самореференции». [21] [22]
  • Экстремальный тип мета- обучения с подкреплением воплощен в машине Гёделя , теоретической конструкции, которая может проверять и изменять любую часть своего собственного программного обеспечения, которое также содержит средство доказательства общих теорем . Он может добиться рекурсивного самосовершенствования доказуемо оптимальным способом. [23] [2]
  • Модель- агностическое метаобучение (MAML) было представлено в 2017 году Челси Финн и др. [24] При заданной последовательности задач параметры данной модели обучаются таким образом, что несколько итераций градиентного спуска с небольшим количеством обучающих данных из новой задачи приведут к хорошей производительности обобщения для этой задачи. MAML «обучает модель, чтобы ее можно было легко настраивать». [24] MAML был успешно применен к тестам классификации изображений по нескольким кадрам и к обучению с подкреплением на основе градиентов. [24]
  • Обнаружение мета-знания работает путем стимулирования знаний (например, правил), которые выражают, как каждый метод обучения будет работать с различными учебными проблемами. Метаданные формируются на основе характеристик данных (общие, статистические, теоретико-информационные, ...) в задаче обучения и характеристик алгоритма обучения (тип, настройки параметров, показатели эффективности, ...). Затем другой алгоритм обучения изучает, как характеристики данных соотносятся с характеристиками алгоритма. Учитывая новую проблему обучения, измеряются характеристики данных и прогнозируется производительность различных алгоритмов обучения. Следовательно, можно предсказать алгоритмы, наиболее подходящие для новой задачи.
  • Сложное обобщение работает путем объединения нескольких (разных) алгоритмов обучения. Метаданные формируются на основе прогнозов этих различных алгоритмов. Другой алгоритм обучения учится на этих метаданных, чтобы предсказать, какие комбинации алгоритмов обычно дают хорошие результаты. Учитывая новую проблему обучения, прогнозы выбранного набора алгоритмов объединяются (например, посредством (взвешенного) голосования) для получения окончательного прогноза. Поскольку предполагается, что каждый алгоритм работает с подмножеством проблем, ожидается, что комбинация будет более гибкой и сможет давать хорошие прогнозы.
  • Повышение связано со сложным обобщением, но использует один и тот же алгоритм несколько раз, когда примеры в обучающих данных получают разные веса при каждом запуске. Это дает разные прогнозы, каждый из которых ориентирован на правильное прогнозирование подмножества данных, а объединение этих прогнозов приводит к лучшим (но более дорогостоящим) результатам.
  • Выбор динамического смещения работает, изменяя индуктивное смещение алгоритма обучения в соответствии с данной проблемой. Это делается путем изменения ключевых аспектов алгоритма обучения, таких как представление гипотез, эвристические формулы или параметры. Существует много разных подходов.
  • Индуктивный перенос изучает, как можно улучшить процесс обучения с течением времени. Метаданные состоят из знаний о предыдущих эпизодах обучения и используются для эффективной разработки эффективной гипотезы для новой задачи. Связанный подход называется обучением, чтобы учиться , цель которого состоит в том, чтобы использовать полученные знания из одной области, чтобы помочь обучению в других областях.
  • Другие подходы, использующие метаданные для улучшения автоматического обучения, - это системы классификаторов обучения , рассуждение на основе случаев и удовлетворение ограничений .
  • Была начата некоторая первоначальная теоретическая работа по использованию прикладного поведенческого анализа в качестве основы для агентно-опосредованного метаобучения о деятельности учащихся-людей и корректировки учебного курса искусственного агента. [25]
  • AutoML, такой как проект Google Brain «ИИ, создающий ИИ», который, согласно Google, ненадолго превзошел существующие тесты ImageNet в 2017 году. [26] [27]

Рекомендации

  1. ^ a b c d e Шмидхубер, Юрген (1987). «Эволюционные принципы в самореферентном обучении или в обучении тому, как учиться: мета-мета -... крючок» (PDF) . Дипломная работа, техн. Univ. Мюнхен .
  2. ^ a b c Шауль, Том; Шмидхубер, Юрген (2010). «Металлообразование» . Scholarpedia . 5 (6): 4650. Bibcode : 2010SchpJ ... 5.4650S . DOI : 10,4249 / scholarpedia.4650 .
  3. ^ PE Utgoff (1986). «Сдвиг предвзятости для индуктивного изучения концепций». В Р. Михальски, Дж. Карбонелл и Т. Митчелл: Машинное обучение : 163–190.
  4. ^ Бенжио, Йошуа; Бенжио, Сами; Клотье, Джоселин (1991). Изучение синаптического правила (PDF) . IJCNN'91.
  5. ^ Лемке, Кристиана; Будка, Марчин; Габрис, Богдан (20.07.2013). «Метаобразование: обзор тенденций и технологий» . Обзор искусственного интеллекта . 44 (1): 117–130. DOI : 10.1007 / s10462-013-9406-у . ISSN 0269-2821 . PMC 4459543 . PMID 26069389 .   
  6. ^ Браздил, Павел; Carrier, Кристоф Жиро; Соарес, Карлос; Вилалта, Рикардо (2009). Металлообразование - Springer . Когнитивные технологии. DOI : 10.1007 / 978-3-540-73263-1 . ISBN 978-3-540-73262-4.
  7. ^ Гордон, Диана; Дежарден, Мари (1995). «Оценка и выбор предубеждений в машинном обучении» (PDF) . Машинное обучение . 20 : 5–22. DOI : 10,1023 / A: 1022630017346 . Проверено 27 марта 2020 года .
  8. ^ a b c d [1] Лилиан Вэн (2018). Мета-обучение: быстрое обучение. Блог OpenAI. Ноябрь 2018. Проверено 27 октября 2019 г.
  9. ^ [2] Адам Санторо, Сергей Бартунов, Даан Виерстра, Тимоти Лилликрап. Мета-обучение с помощью нейронных сетей с расширенной памятью. Google DeepMind. Проверено 29 октября 2019 г.
  10. ^ [3] Цендсурэн Мункдалай, Хун Юй (2017). Meta Networks.arXiv: 1703.00837 [cs.LG]
  11. ^ [4] Грегори Кох ГКОЧ, Ричард Земель ЗЕМЕЛЬ, Руслан Салахутдинов (2015). Сиамские нейронные сети для однократного распознавания изображений. Департамент компьютерных наук Университета Торонто. Торонто, Онтарио, Канада.
  12. ^ [5] Виньялс, О., Бланделл, К., Лилликрэп, Т., Кавукчуоглу, К., и Виерстра, Д. (2016). Соответствующие сети для обучения одним выстрелом. Google DeepMind. Дата обращения 3 ноября 2019.
  13. ^ [6] Сун, Ф., Ян, Ю., Чжан, Л., Сян, Т., Торр, PHS, и Hospedales, TM. (2018). Учимся сравнивать: сеть отношений для быстрого обучения
  14. ^ [7] Снелл, Дж., Сверски, К., и Земель, Р.С. (2017). Прототипные сети для обучения по частям.
  15. ^ [8] Сачин Рави * и Хьюго Ларошель (2017) ». Оптимизация как модель для пошагового обучения ». ICLR 2017. Дата обращения 3 ноября 2019.
  16. ^ [9] Челси Финн, Питер Аббил, Сергей Левин (2017). «Модельно-независимое метаобучение для быстрой адаптации глубоких сетей» arXiv: 1703.03400 [cs.LG]
  17. ^ [10] Челси Финн, Питер Аббил, Сергей Левин (2017). Алекс Никол, Джошуа Ачиам и Джон Шульман (2018) ». Об алгоритмах метаобучения первого порядка ». arXiv: 1803.02999 [cs.LG]
  18. ^ Шмидхубер, Юрген (1993). «Самореферентная матрица весов». Протоколы ICANN'93, Амстердам : 446–451.
  19. ^ Хохрайтер, Зепп; Младший, AS; Конвелл, PR (2001). «Учимся учиться с помощью градиентного спуска». Протоколы ICANN'01 : 87–94.
  20. ^ Андрыхович, Марцин; Денил, Миша; Гомес, Серхио; Хоффманн, Мэтью; Пфау, Дэвид; Шауль, Том; Шиллингфорд, Брендан; де Фрейтас, Нандо (2017). «Обучение обучению градиентным спуском градиентным спуском». Труды ICML'17, Сидней, Австралия .
  21. ^ Шмидхубер, Юрген (1994). «Об обучении тому, как изучать стратегии обучения». Технический отчет FKI-198-94, Tech. Univ. Мюнхен .
  22. ^ Шмидхубер, Юрген; Zhao, J .; Виринг, М. (1997). «Смена индуктивного предубеждения с помощью алгоритма истории успеха, адаптивного поиска Левина и постепенного самосовершенствования» . Машинное обучение . 28 : 105–130. DOI : 10.1023 / а: 1007383707642 .
  23. ^ Шмидхубер, Юрген (2006). «Машины Гёделя: оптимальные универсальные самоулучшители с полной самооценкой» . В B. Goertzel & C. Pennachin, ред .: Общий искусственный интеллект : 199–226.
  24. ^ a b c Финн, Челси; Аббель, Питер; Левин, Сергей (2017). «Модельно-независимое метаобучение для быстрой адаптации глубоких сетей». arXiv : 1703.03400 [ cs.LG ].
  25. ^ Begoli, Эдмон (май 2014). Архитектура процедурного обоснования для инструкций на основе прикладного анализа поведения . Ноксвилл, Теннесси, США: Университет Теннесси, Ноксвилл. С. 44–79 . Проверено 14 октября 2017 года .
  26. ^ «Роботы теперь« создают новых роботов », - говорит технический репортер» . NPR.org . 2018 . Проверено 29 марта 2018 года .
  27. ^ «AutoML для крупномасштабной классификации изображений и обнаружения объектов» . Блог Google Research . Ноября 2017 . Проверено 29 марта 2018 года .

Внешние ссылки [ править ]

  • Статья Metalearning в Scholarpedia
  • Вилалта Р. и Дрисси Ю. (2002). Перспективный взгляд и обзор метаобучения, Обзор искусственного интеллекта, 18 (2), 77–95.
  • Жиро-Каррье, К., и Келлер, Дж. (2002). Работа с потоком данных, Дж. Мейдж (редактор), глава «Мета-обучение». STT / Бьюетон, Гаага.
  • Браздил П., Жиро-Карриер К., Соареш К., Вилалта Р. (2009) Metalearning: приложения для интеллектуального анализа данных , глава Metalearning: концепции и системы, Springer
  • Видеокурсы по мета-обучению с пошаговым объяснением MAML , прототипных сетей и сетей отношений .