Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Часть серии по
Машинное обучение
и
интеллектуальный анализ данных
Многослойная нейронная сеть-Vector-Blank.svg
Проблемы
Кластеризация
Снижение размерности
Структурированный прогноз
  • Графические модели
    • Сеть Байеса
    • Условное случайное поле
    • Скрытый Марков
Обнаружение аномалий
  • k -NN
  • Фактор локального выброса
Искусственная нейронная сеть
  • Автоэнкодер
  • Когнитивные вычисления
  • Глубокое обучение
  • DeepDream
  • Многослойный перцептрон
  • RNN
    • LSTM
    • ГРУ
    • ESN
  • Ограниченная машина Больцмана
  • GAN
  • SOM
  • Сверточная нейронная сеть
    • U-Net
  • Трансформатор
  • Пиковая нейронная сеть
  • Мемтранзистор
  • Электрохимическая RAM (ECRAM)
Обучение с подкреплением
  • Q-обучение
  • SARSA
  • Временная разница (TD)
Теория
  • Компромисс смещения и дисперсии
  • Теория вычислительного обучения
  • Минимизация эмпирического риска
  • Обучение Оккама
  • PAC обучение
  • Статистическое обучение
  • Теория ВК
Площадки для машинного обучения
  • NeurIPS
  • ICML
  • ML
  • JMLR
  • ArXiv: cs.LG
Глоссарий искусственного интеллекта
  • Глоссарий искусственного интеллекта
Статьи по Теме
  • Список наборов данных для исследований в области машинного обучения
  • Схема машинного обучения
  • v
  • т
  • е

В статистике и машинного обучения , ансамблевые методы используют несколько алгоритмов обучения для получения лучшего интеллектуального производительности , чем можно было бы получить от любого из алгоритмов обучения составляющей в одиночку. [1] [2] [3] В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль машинного обучения состоит только из конкретного конечного набора альтернативных моделей, но обычно позволяет использовать гораздо более гибкую структуру среди этих альтернатив .

Обзор [ править ]

Алгоритмы контролируемого обучения выполняют задачу поиска в пространстве гипотез, чтобы найти подходящую гипотезу, которая сделает хорошие прогнозы для конкретной проблемы. [4] Даже если пространство гипотез содержит гипотезы, которые очень хорошо подходят для конкретной проблемы, может быть очень трудно найти хорошую. Ансамбли объединяют несколько гипотез, чтобы сформировать (надеюсь) лучшую гипотезу. Термин « ансамбль» обычно используется для обозначения методов, которые генерируют несколько гипотез с использованием одного и того же базового обучающегося. [ согласно кому? ] Более широкий термин систем множественных классификаторов также охватывает гибридизацию гипотез, которые не вызваны одним и тем же базовым учащимся. [цитата необходима ]

Оценка предсказания ансамбля обычно требует больше вычислений, чем оценка предсказания отдельной модели. В каком-то смысле ансамблевое обучение можно рассматривать как способ компенсации плохих алгоритмов обучения за счет выполнения большого количества дополнительных вычислений. С другой стороны, альтернатива состоит в том, чтобы сделать гораздо больше обучения на одной не-ансамблевой системе. Система ансамбля может быть более эффективной при повышении общей точности для того же увеличения вычислительных ресурсов, ресурсов хранения или связи за счет использования этого увеличения двух или более методов, чем было бы улучшено за счет увеличения использования ресурсов для одного метода. Быстрые алгоритмы, такие как деревья решений , обычно используются в методах ансамбля (например, случайные леса), хотя более медленные алгоритмы также могут выиграть от ансамблевых методов.

По аналогии, ансамблевые методы использовались также в сценариях неконтролируемого обучения , например, при консенсусной кластеризации или при обнаружении аномалий .

Теория ансамбля [ править ]

Ансамбль сам по себе является алгоритмом обучения с учителем, поскольку его можно обучить, а затем использовать для прогнозирования. Таким образом, обученный ансамбль представляет единственную гипотезу. Эта гипотеза, однако, не обязательно содержится в пространстве гипотез моделей, из которых она построена. Таким образом, можно показать, что ансамбли обладают большей гибкостью в функциях, которые они могут представлять. Эта гибкость может, теоретически, дать им возможность более подгонку обучающих данных более чем одна модели будет, но на практике, некоторые ансамблевые методы (особенно расфасовка ) , как правило , чтобы уменьшить проблемы , связанные с более облегающими обучающими данными. [ необходима цитата ]

Эмпирически ансамбли дают лучшие результаты при значительном разнообразии моделей. [5] [6] Многие ансамблевые методы, таким образом, стремятся способствовать разнообразию моделей, которые они объединяют. [7] [8] Хотя, возможно, не интуитивно понятные, более случайные алгоритмы (например, деревья случайных решений) могут быть использованы для создания более сильного ансамбля, чем тщательно продуманные алгоритмы (например, деревья решений, уменьшающие энтропию). [9] Однако было показано, что использование множества сильных алгоритмов обучения более эффективно, чем использование методов, которые пытаются упростить модели, чтобы способствовать разнообразию. [10]

Размер ансамбля [ править ]

Хотя количество классификаторов компонентов в ансамбле имеет большое влияние на точность прогнозов, существует ограниченное количество исследований, посвященных этой проблеме. Априориопределение размера ансамбля, а также объема и скорости потоков больших данных делает это еще более важным для онлайн-классификаторов ансамблей. В основном статистические тесты использовались для определения правильного количества компонентов. Совсем недавно теоретическая основа предложила, что существует идеальное количество классификаторов компонентов для ансамбля, так что наличие большего или меньшего, чем это количество классификаторов, ухудшит точность. Это называется «законом убывающей отдачи при построении ансамбля». Их теоретическая основа показывает, что использование того же количества независимых классификаторов компонентов, что и метки классов, дает наивысшую точность. [11] [12]

Общие типы ансамблей [ править ]

Оптимальный классификатор Байеса [ править ]

Оптимальный классификатор Байеса - это метод классификации. Это совокупность всех гипотез в пространстве гипотез. В среднем ни один другой ансамбль не может превзойти его. [13] Наивный байесовский оптимальный классификатор - это вариант этого, который предполагает, что данные условно не зависят от класса, и делает вычисления более осуществимыми. Каждой гипотезе дается голос, пропорциональный вероятности того, что обучающий набор данных будет выбран из системы, если эта гипотеза верна. Чтобы облегчить обучающие данные конечного размера, голос каждой гипотезы также умножается на априорную вероятность этой гипотезы. Оптимальный байесовский классификатор можно выразить следующим уравнением:

где - прогнозируемый класс, - это набор всех возможных классов, - это пространство гипотез, относится к вероятности и является обучающими данными. Как ансамбль, оптимальный классификатор Байеса представляет собой гипотезу, которая не обязательно в . Однако гипотеза, представленная оптимальным классификатором Байеса, является оптимальной гипотезой в пространстве ансамблей (пространство всех возможных ансамблей, состоящее только из гипотез в ).

Эту формулу можно переформулировать с помощью теоремы Байеса , которая гласит, что апостериорная величина пропорциональна вероятности, умноженной на априорную:

следовательно,

Агрегирование бутстрапа (упаковка) [ править ]

Основная статья: агрегирование Bootstrap

Агрегирование бутстрапа, часто сокращенно называемое пакетированием , предполагает, что каждая модель в ансамбле голосует с равным весом. Чтобы способствовать изменчивости модели, пакетирование обучает каждую модель в ансамбле, используя случайно составленное подмножество обучающей выборки. Например, алгоритм случайного леса объединяет деревья случайных решений с пакетом для достижения очень высокой точности классификации. [14]

При упаковке образцы образуются таким образом, что образцы отличаются друг от друга, однако допускается замена. Замена означает, что экземпляр может встречаться в нескольких выборках несколько раз или вообще не может появиться в некоторых выборках. Затем эти образцы передаются нескольким учащимся, а затем результаты каждого учащегося объединяются в форме голосования.

Повышение [ править ]

Основная статья: Повышение (мета-алгоритм)

Повышение включает в себя постепенное построение ансамбля путем обучения каждого нового экземпляра модели, чтобы выделить обучающие экземпляры, которые предыдущие модели неправильно классифицировали. В некоторых случаях было показано, что повышение точности дает более высокую точность, чем пакетирование, но оно также имеет тенденцию с большей вероятностью соответствовать обучающим данным. Безусловно, наиболее распространенной реализацией повышения является Adaboost , хотя сообщается , что некоторые новые алгоритмы позволяют достичь лучших результатов. [ необходима цитата ]

В Boosting равный вес (равномерное распределение вероятностей) присваивается выборочным обучающим данным (скажем, D1) в самом стартовом раунде. Эти данные (D1) затем передаются базовому учащемуся (например, L1). Неправильно классифицированным экземплярам по L1 присваивается вес выше, чем правильно классифицированным экземплярам, ​​но с учетом того, что общее распределение вероятностей будет равно 1. Эти усиленные данные (скажем, D2) затем передаются второму базовому ученику (скажем, L2 ) и так далее. Затем результаты объединяются в форме голосования.

Усреднение байесовской модели [ править ]

Усреднение байесовской модели (BMA) делает прогнозы с использованием среднего значения по нескольким моделям с весами, заданными апостериорной вероятностью каждой модели с учетом данных. [15] Как известно, BMA обычно дает лучшие ответы, чем одна модель, полученная, например, с помощью пошаговой регрессии , особенно когда очень разные модели имеют почти одинаковую производительность в обучающем наборе, но в остальном могут работать совершенно по-разному.

Наиболее очевидный вопрос в отношении любой техники, использующей теорему Байеса, - это априорный вопрос, т. Е. Определение вероятности (возможно, субъективной) того, что каждая модель лучше всего подходит для данной цели. Концептуально BMA можно использовать с любыми предшествующими версиями. Пакеты ensembleBMA [16] и BMA [17] для R используют априорность, подразумеваемую байесовским информационным критерием (BIC), следующим за Raftery (1995). [18] Пакет BAS для R поддерживает использование априорных значений, подразумеваемых информационным критерием Акаике (AIC), и других критериев по сравнению с альтернативными моделями, а также априорных значений по коэффициентам. [19]

Разница между BIC и AIC заключается в том, что они предпочитают экономию. Штраф за сложность модели относится к BIC и AIC. Асимптотическая теория большой выборки установила, что если есть лучшая модель, то с увеличением размера выборки BIC будет строго согласованным, то есть почти наверняка найдет ее, в то время как AIC может и не найти, потому что AIC может продолжать использовать чрезмерную апостериорную вероятность для моделей, которые сложнее, чем нужно. Если, с другой стороны, нас больше интересует эффективность, т. Е. Минимальная среднеквадратичная ошибка предсказания, то асимптотически AIC и AICc «эффективны», а BIC - нет. [20]

Бернхэм и Андерсон (1998, 2002) внесли большой вклад в ознакомление широкой аудитории с основными идеями байесовской модели усреднения и популяризации методологии. [21] Доступность программного обеспечения, включая другие бесплатные пакеты с открытым исходным кодом для R, помимо упомянутых выше, помогло сделать методы доступными для более широкой аудитории. [22]

Haussler et al. (1994) показали, что, когда BMA используется для классификации, его ожидаемая ошибка не более чем в два раза превышает ожидаемую ошибку байесовского оптимального классификатора. [23]

Комбинация байесовских моделей [ править ]

Комбинация байесовских моделей (BMC) - это алгоритмическая коррекция усреднения байесовской модели (BMA). Вместо того, чтобы производить выборку каждой модели в ансамбле по отдельности, она производит выборку из пространства возможных ансамблей (с модельными весами, взятыми случайным образом из распределения Дирихле с однородными параметрами). Эта модификация преодолевает тенденцию BMA сводиться к тому, чтобы отдавать весь вес одной модели. Хотя BMC несколько дороже с точки зрения вычислений, чем BMA, он дает значительно лучшие результаты. Было показано, что результаты BMC в среднем лучше (со статистической значимостью), чем BMA и мешковина. [24]

Использование закона Байеса для вычисления весов моделей требует вычисления вероятности данных для каждой модели. Как правило, ни одна из моделей в ансамбле не является в точности распределением, из которого были сгенерированы обучающие данные, поэтому все они правильно получают значение, близкое к нулю для этого члена. Это было бы хорошо, если бы ансамбль был достаточно большим, чтобы сэмплировать все пространство модели, но это редко возможно. Следовательно, каждый шаблон в обучающих данных приведет к смещению веса ансамбля в сторону модели в ансамбле, которая наиболее близка к распределению обучающих данных. По сути, это сводится к излишне сложному методу выбора модели.

Возможные веса для ансамбля можно представить себе как лежащие на симплексе. В каждой вершине симплекса весь вес отдается одной модели в ансамбле. BMA сходится к вершине, ближайшей к распределению обучающих данных. Напротив, BMC сходится к точке, где это распределение проецируется на симплекс. Другими словами, вместо выбора одной модели, наиболее близкой к генерирующему распределению, он ищет комбинацию моделей, наиболее близкую к генерирующему распределению.

Результаты BMA часто можно аппроксимировать с помощью перекрестной проверки, чтобы выбрать лучшую модель из набора моделей. Точно так же результаты BMC могут быть аппроксимированы с помощью перекрестной проверки для выбора наилучшей комбинации ансамбля из случайной выборки возможных весов.

Ведро моделей [ править ]

«Ведро моделей» - это метод ансамбля, в котором алгоритм выбора модели используется для выбора наилучшей модели для каждой проблемы. При тестировании только с одной проблемой набор моделей может дать не лучшие результаты, чем лучшая модель в наборе, но при оценке множества проблем, в среднем, она обычно дает гораздо лучшие результаты, чем любая модель в наборе.

Наиболее распространенным подходом, используемым для выбора модели, является выбор с перекрестной проверкой (иногда называемый «конкурсным отбором»). Он описывается следующим псевдокодом:

Для каждой модели m в ведре: Сделайте c раз: (где c - некоторая константа) Случайным образом разделите обучающий набор данных на два набора данных: A и B. Поезд м с А Тест m с BВыберите модель, получившую наивысший средний балл

Выбор перекрестной проверки можно резюмировать следующим образом: «попробуйте их все с обучающим набором и выберите тот, который работает лучше всего». [25]

Стробирование - это обобщение выбора перекрестной проверки. Он включает в себя обучение другой модели обучения, чтобы решить, какая из моделей в корзине лучше всего подходит для решения проблемы. Часто для модели стробирования используется перцептрон . Его можно использовать для выбора «лучшей» модели или для присвоения линейного веса предсказаниям каждой модели в корзине.

Когда набор моделей используется с большим набором задач, может быть желательно избегать обучения некоторых моделей, обучение которых занимает много времени. Ориентирное обучение - это метод метаобучения, направленный на решение этой проблемы. Он включает в себя обучение только быстрых (но неточных) алгоритмов в корзине, а затем использование производительности этих алгоритмов, чтобы определить, какой медленный (но точный) алгоритм, скорее всего, будет работать лучше. [26]

Укладка [ править ]

Стекинг (иногда называемый сложным обобщением ) включает обучение алгоритма обучения для объединения прогнозов нескольких других алгоритмов обучения. Сначала все другие алгоритмы обучаются с использованием доступных данных, затем алгоритм объединителя обучается делать окончательный прогноз, используя все прогнозы других алгоритмов в качестве дополнительных входных данных. Если используется произвольный алгоритм объединителя, то наложение теоретически может представлять любой из методов ансамбля, описанных в этой статье, хотя на практике в качестве объединителя часто используется модель логистической регрессии .

Стекинг обычно дает производительность лучше, чем любая из обученных моделей. [27] Он успешно использовался как для задач обучения с учителем (регрессия, [28] классификация и дистанционное обучение [29] ), так и для обучения без учителя (оценка плотности). [30] Он также использовался для оценки частоты ошибок при упаковке. [3] [31] Сообщается, что он превосходит усреднение байесовской модели. [32] Два лучших участника конкурса Netflix использовали смешивание , которое можно рассматривать как форму наложения. [33]

Реализации в статистических пакетах [ править ]

  • R : по крайней мере , три пакета предлагает Байес инструменты модели усреднения, [34] , включая BMS (акроним для байесовской модели выбор) пакета, [35] в БАС (аббревиатура байесовского Adaptive Sampling) пакет, [36] и BMA пакет . [37]
  • Python : Scikit-learn , пакет для машинного обучения на Python, предлагает пакеты для ансамблевого обучения, включая пакеты для методов упаковки и усреднения.
  • MATLAB : ансамбли классификации реализованы в Statistics and Machine Learning Toolbox. [38]

Приложения для ансамблевого обучения [ править ]

В последние годы, из-за растущей вычислительной мощности, которая позволяет обучать большие ансамблевые методы обучения в разумные сроки, число его приложений постоянно растет. [39] Некоторые из применений ансамблевых классификаторов включают:

Дистанционное зондирование [ править ]

Основная статья: Дистанционное зондирование

Картирование земного покрова [ править ]

Картирование земного покрова - одно из основных применений спутниковых датчиков наблюдения Земли , использующих дистанционное зондирование и геопространственные данные , для идентификации материалов и объектов, которые находятся на поверхности целевых областей. Обычно классы целевых материалов включают дороги, здания, реки, озера и растительность. [40] Некоторые различные подходы к ансамблевому обучению, основанные на искусственных нейронных сетях , [41] анализ основных компонентов ядра (KPCA), [42] деревья решений с ускорением , [43] случайный лес [40]и автоматическое проектирование систем множественных классификаторов [44] предлагается для эффективной идентификации объектов земного покрова .

Обнаружение изменений [ править ]

Обнаружение изменений - это задача анализа изображений , заключающаяся в определении мест, где земной покров изменился с течением времени. Обнаружение изменений широко используется в таких областях, как рост городов , динамика лесов и растительности , землепользование и мониторинг стихийных бедствий . [45] Самые ранние применения ансамблевых классификаторов в обнаружении изменений разрабатывались с большинством голосов , [46] средним байесовским и максимальной апостериорной вероятностью . [47]

Компьютерная безопасность [ править ]

Распределенный отказ в обслуживании [ править ]

Распределенный отказ в обслуживании - одна из самых опасных кибератак, которые могут случиться с провайдером интернет-услуг . [39] Комбинируя выходные данные отдельных классификаторов, ансамблевые классификаторы уменьшают общую ошибку обнаружения и отличия таких атак от легитимных мгновенных скоплений . [48]

Обнаружение вредоносного ПО [ править ]

Классификация кодов вредоносных программ, таких как компьютерные вирусы , компьютерные черви , трояны , программы- вымогатели и шпионское ПО, с использованием методов машинного обучения , основана на проблеме категоризации документов . [49] Системы ансамблевого обучения показали надлежащую эффективность в этой области. [50] [51]

Обнаружение вторжений [ править ]

Система обнаружения вторжений контролирует компьютерную сеть или компьютерные системы, чтобы идентифицировать коды злоумышленников, например, процесс обнаружения аномалий . Ансамблевое обучение успешно помогает таким системам мониторинга уменьшить их общую ошибку. [52] [53]

Распознавание лиц [ править ]

Основная статья: Распознавание лиц

Распознавание лиц , которое в последнее время стало одной из самых популярных областей исследования распознавания образов , справляется с идентификацией или верификацией человека по его цифровым изображениям . [54]

Иерархические ансамбли, основанные на классификаторе Габора Фишера и методах предварительной обработки независимого компонентного анализа , являются одними из самых ранних ансамблей, используемых в этой области. [55] [56] [57]

Распознавание эмоций [ править ]

Основная статья: Распознавание эмоций

Хотя распознавание речи в основном основано на глубоком обучении, потому что большинство игроков отрасли, таких как Google , Microsoft и IBM, показывают, что основная технология их распознавания речи основана на этом подходе, распознавание эмоций на основе речи также может иметь удовлетворительную производительность. с ансамблевым обучением. [58] [59]

Он также успешно используется для распознавания эмоций лица . [60] [61] [62]

Обнаружение мошенничества [ править ]

Основная статья: Обнаружение мошенничества

Мошенничество обнаружения сделок с идентификацией банковского мошенничества , такие как отмывание денег , мошенничество с кредитными картами и мошенничества связи , которые имеют обширные области исследований и приложений машинного обучения . Поскольку ансамблевое обучение повышает надежность моделирования нормального поведения, оно было предложено в качестве эффективного метода обнаружения таких случаев мошенничества и действий в банковских системах и системах кредитных карт. [63] [64]

Принятие финансовых решений [ править ]

Точность прогнозирования банкротства бизнеса - очень важный вопрос при принятии финансовых решений. Поэтому для прогнозирования финансовых кризисов и финансовых бедствий предлагаются различные ансамблевые классификаторы . [65] Кроме того, в проблеме манипулирования торговлей , когда трейдеры пытаются манипулировать ценами на акции , покупая и продавая, требуются ансамблевые классификаторы для анализа изменений в данных фондового рынка и выявления подозрительных симптомов манипулирования ценами на акции . [65]

Медицина [ править ]

Классификаторы ансамбля успешно применялись в нейробиологии , протеомике и медицинской диагностике, например, при обнаружении нейрокогнитивных расстройств (например, болезни Альцгеймера или миотонической дистрофии ) на основе наборов данных МРТ. [66] [67] [68]

См. Также [ править ]

  • Усреднение по ансамблю (машинное обучение)
  • Байесовский структурный временной ряд (BSTS)

Ссылки [ править ]

  1. ^ Opitz, D .; Маклин, Р. (1999). «Популярные методы ансамбля: эмпирическое исследование» . Журнал исследований искусственного интеллекта . 11 : 169–198. DOI : 10.1613 / jair.614 .
  2. ^ Polikar, R. (2006). «Ансамблевые системы в принятии решений». Журнал IEEE Circuits and Systems . 6 (3): 21–45. DOI : 10,1109 / MCAS.2006.1688199 . S2CID 18032543 . 
  3. ^ a b Рокач, Л. (2010). «Ансамблевые классификаторы». Обзор искусственного интеллекта . 33 (1–2): 1–39. DOI : 10.1007 / s10462-009-9124-7 . S2CID 11149239 . 
  4. ^ Блокил Х. (2011). «Пространство гипотез». Энциклопедия машинного обучения : 511–513. DOI : 10.1007 / 978-0-387-30164-8_373 . ISBN 978-0-387-30768-8.
  5. ^ Кунчева, Л. и Уитакер, К., Меры разнообразия в ансамблях классификаторов, Машинное обучение , 51, стр. 181-207, 2003
  6. ^ Sollich, P. и Krogh, A., Обучение с помощью ансамблей: Как переобучение может быть полезным , Достижения в системах обработки нейронной информации, том 8, стр. 190-196, 1996.
  7. ^ Браун, Дж. И Вятт, Дж., Харрис, Р. и Яо, X., Методы создания разнообразия: обзор и категоризация., Information Fusion , 6 (1), pp. 5-20, 2005.
  8. ^ Адев, JJ Гарсиа; Cerviño, Ulises; Кальво, Р. "Точность и разнообразие в ансамблях классификаторов текста" (PDF) . CLEI Journal . 8 (2): 1–12. DOI : 10,19153 / cleiej.8.2.1 .
  9. ^ Хо, Т., Леса случайных решений, Труды Третьей Международной конференции по анализу и распознаванию документов , стр. 278-282, 1995.
  10. ^ Gashler, M .; Giraud-Carrier, C .; Мартинес, Т. (2008). «Ансамбль дерева решений: небольшая неоднородность лучше, чем большая однородная» (PDF) . Седьмая международная конференция по машинному обучению и приложениям . 2008 : 900–905. DOI : 10.1109 / ICMLA.2008.154 . ISBN  978-0-7695-3495-4. S2CID  614810 .
  11. ^ Р. Бонаб, Хамед; Кан, Фазли (2016). Теоретическая основа идеального количества классификаторов для онлайн-ансамблей в потоках данных . CIKM. США: ACM. п. 2053.
  12. ^ Р. Бонаб, Хамед; Кан, Фазли (2019). Меньше значит больше: исчерпывающая структура для определения количества компонентов ансамблевых классификаторов . TNNLS. США: IEEE. arXiv : 1709.02925 .
  13. ↑ Том М. Митчелл , Машинное обучение , 1997, стр. 175
  14. ^ Брейман Л., Bagging Предсказатели, машинное обучение , 24 (2), pp.123-140, 1996.
  15. ^ например, Дженнифер А. Хоинг ; Дэвид Мэдиган ; Адриан Рафтери ; Крис Волинский (1999). «Усреднение байесовской модели: Учебное пособие» . Статистическая наука . ISSN 0883-4237 . Викиданные Q98974344 .  
  16. ^ Крис Фрейли; Адриан Рафтери ; Дж. Маклин Слаутер; Тилманн Гнейтинг, ensembleBMA: Вероятностное прогнозирование с использованием ансамблей и усреднения байесовской модели , Wikidata Q98972500 
  17. ^ Адриан Рафтери ; Дженнифер Хоинг; Крис Волинский; Ян Пейнтер; Ка Йи Йунг, BMA: усреднение байесовской модели , Wikidata Q91674106 .
  18. ^ Адриан Рафтери (1995). «Выбор байесовской модели в социальных исследованиях». Социологическая методология : 111–196. ISSN 0081-1750 . Викиданные Q91670340 .  
  19. ^ Мерлиз А. Клайд ; Майкл Л. Литтман ; Цюаньли Ван; Джойи Гош; Иньбо Ли; Дон ван де Берг, BAS: Выбор байесовских переменных и усреднение модели с использованием байесовской адаптивной выборки , Wikidata Q98974089 .
  20. ^ Герда Клаескенс ; Нильс Лид Хьорт (2008 г.), Выбор модели и усреднение модели , Cambridge University Press , Wikidata Q62568358 , гл. 4.
  21. ^ Кеннет П. Бернхэм; Дэвид Р. Андерсон (1998), Выбор модели и многомодельный вывод: практический теоретико-информационный подход , Wikidata Q62670082 и Кеннет П. Бернхэм; Дэвид Р. Андерсон (2002), Выбор модели и многомодельный вывод: практический теоретико-информационный подход , Springer Science + Business Media , Wikidata Q76889160 .
  22. ^ В статье Викиверситета о поиске пакетов R упоминается несколько способов найти доступные пакеты для чего-то вроде этого. Например, «sos :: findFn ('{усреднение байесовской модели}')» из R будет искать файлы справки в добавленных пакетах, которые включают поисковый запрос, и открывать две вкладки в браузере по умолчанию. В первом будут перечислены все найденные файлы справки, отсортированные по пакетам. Во второй суммируются найденные пакеты, отсортированные по кажущейся силе совпадения.
  23. ^ Хаусслер, Дэвид; Кирнс, Майкл; Шапир, Роберт Э. (1994). «Границы выборочной сложности байесовского обучения с использованием теории информации и измерения VC» . Машинное обучение . 14 : 83–113. DOI : 10.1007 / bf00993163 .
  24. ^ Монтейт, Кристина; Кэрролл, Джеймс; Сеппи, Кевин; Мартинес, Тони. (2011). Превращение усреднения байесовской модели в комбинацию байесовских моделей (PDF) . Труды международной совместной конференции по нейронным сетям IJCNN'11. С. 2657–2663.
  25. ^ Сасо Дзероски, Бернард Зенко, Объединение классификаторов лучше, чем выбор лучшего , Машинное обучение, 2004, стр. 255-273
  26. ^ Бенсусан, Хилан; Жиро-Каррье, Кристоф (2000). «Обнаружение окрестностей задач через выдающиеся учебные мероприятия» (PDF) . Принципы интеллектуального анализа данных и обнаружения знаний . Конспект лекций по информатике. 1910 . С. 325–330. DOI : 10.1007 / 3-540-45372-5_32 . ISBN  978-3-540-41066-9.
  27. ^ Wolpert (1992). «Сложное обобщение». Нейронные сети . 5 (2): 241–259. DOI : 10.1016 / s0893-6080 (05) 80023-1 .
  28. ^ Брейман, Лео (1996). «Сложенные регрессии» . Машинное обучение . 24 : 49–64. DOI : 10.1007 / BF00117832 .
  29. ^ Озай, М .; Ярман Вурал, FT (2013). «Новый метод нечеткого накопленного обобщения и анализ его эффективности». arXiv : 1204.0171 . Bibcode : 2012arXiv1204.0171O . Cite journal requires |journal= (help)
  30. ^ Смит, П. и Вольперт, Д.Х., Линейное объединение оценок плотности с помощью стекирования , Журнал машинного обучения, 36, 59-83, 1999
  31. ^ Wolpert, DH, и Macready, WG, Эффективный метод оценки ошибки обобщения Бэггинга , Журнал машинного обучения, 35, 41-55, 1999
  32. ^ Кларк, Б., Усреднение и суммирование байесовской модели, когда нельзя игнорировать ошибку аппроксимации модели , Journal of Machine Learning Research, стр 683-712, 2003
  33. ^ Sill, J .; Takacs, G .; Mackey, L .; Лин, Д. (2009). «Функционально-взвешенное линейное суммирование». arXiv : 0911.0460 . Bibcode : 2009arXiv0911.0460S . Cite journal requires |journal= (help)
  34. ^ Амини, Шахрам М .; Парметр, Кристофер Ф. (2011). «Байесовская модель усреднения в R» (PDF) . Журнал экономических и социальных измерений . 36 (4): 253–287. DOI : 10,3233 / JEM-2011-0350 .
  35. ^ "BMS: Библиотека усреднения байесовской модели" . Комплексная R архивной сети . 2015-11-24 . Проверено 9 сентября 2016 года .
  36. ^ «BAS: Усреднение байесовской модели с использованием байесовской адаптивной выборки» . Комплексная R архивной сети . Проверено 9 сентября 2016 года .
  37. ^ «BMA: Байесовская модель усреднения» . Комплексная R архивной сети . Проверено 9 сентября 2016 года .
  38. ^ "Классификационные ансамбли" . MATLAB и Simulink . Проверено 8 июня 2017 года .
  39. ^ a b Возняк, Михал; Гранья, Мануэль; Корчадо, Эмилио (март 2014 г.). «Обзор нескольких систем классификатора как гибридных систем». Информационный фьюжн . 16 : 3–17. DOI : 10.1016 / j.inffus.2013.04.006 . ЛВП : 10366/134320 .
  40. ^ a b Родригес-Галиано, В.Ф. Ghimire, B .; Rogan, J .; Chica-Olmo, M .; Ригол-Санчес, JP (январь 2012 г.). «Оценка эффективности случайного лесного классификатора для классификации растительного покрова». Журнал ISPRS по фотограмметрии и дистанционному зондированию . 67 : 93–104. Bibcode : 2012JPRS ... 67 ... 93R . DOI : 10.1016 / j.isprsjprs.2011.11.002 .
  41. ^ Джачинто, Джорджио; Роли, Фабио (август 2001 г.). «Разработка эффективных нейросетевых ансамблей для классификации изображений». Вычисления изображений и зрения . 19 (9–10): 699–707. CiteSeerX 10.1.1.11.5820 . DOI : 10.1016 / S0262-8856 (01) 00045-2 . 
  42. ^ Ся, Цзюньши; Ёкоя, Наото; Ивасаки, Якира (март 2017 г.). Новый ансамблевой классификатор гиперспектральных данных и данных LiDAR с использованием морфологических признаков . 2017 IEEE Международная конференция по акустике, речи и обработки сигналов (ICASSP) . С. 6185–6189. DOI : 10.1109 / ICASSP.2017.7953345 . ISBN 978-1-5090-4117-6. S2CID  40210273 .
  43. ^ Mochizuki, S .; Мураками, Т. (ноябрь 2012 г.). «Сравнение точности картографирования земного покрова с использованием объектно-ориентированной классификации изображений с алгоритмами машинного обучения». Тридцать третья Азиатская конференция по дистанционному зондированию 2012, ACRS 2012 . 1 : 126–133.
  44. ^ Giacinto, G .; Roli, F .; Фумера, Г. (сентябрь 2000 г.). Создание эффективных систем множественных классификаторов путем кластеризации классификаторов . Труды 15-й Международной конференции по распознаванию образов. ICPR-2000 . 2 . С. 160–163. CiteSeerX 10.1.1.11.5328 . DOI : 10.1109 / ICPR.2000.906039 . ISBN  978-0-7695-0750-7. S2CID  2625643 .
  45. ^ Ду, Пейджун; Лю, Сиконг; Ся, Цзюньши; Чжао, Инди (январь 2013 г.). «Методы слияния информации для обнаружения изменений по разновременным изображениям дистанционного зондирования». Информационный фьюжн . 14 (1): 19–27. DOI : 10.1016 / j.inffus.2012.05.003 .
  46. ^ Определено Bruzzone et al. (2002) как «Класс данных, который получает наибольшее количество голосов, принимается как класс входного шаблона», это простое большинство , более точно описываемое как множественное голосование.
  47. ^ Бруззоне, Лоренцо; Коссу, Роберто; Вернацца, Джанни (декабрь 2002 г.). «Комбинирование параметрических и непараметрических алгоритмов для частично неконтролируемой классификации многокомпонентных изображений дистанционного зондирования» (PDF) . Информационный фьюжн . 3 (4): 289–297. DOI : 10.1016 / S1566-2535 (02) 00091-X .
  48. ^ Радж Кумар, П. Арун; Сельвакумар, С. (июль 2011 г.). «Распределенное обнаружение атак типа« отказ в обслуживании »с использованием ансамбля нейронных классификаторов». Компьютерные коммуникации . 34 (11): 1328–1341. DOI : 10.1016 / j.comcom.2011.01.012 .
  49. ^ Шабтай, Асаф; Москович, Роберт; Еловичи, Юваль; Глезер, Чанан (февраль 2009 г.). «Обнаружение вредоносного кода путем применения классификаторов машинного обучения к статическим объектам: новейшее исследование». Технический отчет по информационной безопасности . 14 (1): 16–29. DOI : 10.1016 / j.istr.2009.03.003 .
  50. ^ Чжан, Боюнь; Инь, Цзяньпин; Хао, Цзинбо; Чжан, Динсин; Ван, Шулин (2007). Обнаружение вредоносных кодов на основе ансамблевого обучения . Автономные и доверенные вычисления . Конспект лекций по информатике. 4610 . С. 468–477. DOI : 10.1007 / 978-3-540-73547-2_48 . ISBN 978-3-540-73546-5.
  51. ^ Менахем, Эйтан; Шабтай, Асаф; Рокач, Лиор; Еловичи, Юваль (февраль 2009 г.). «Улучшение обнаружения вредоносных программ за счет применения ансамбля с несколькими индукторами». Вычислительная статистика и анализ данных . 53 (4): 1483–1494. CiteSeerX 10.1.1.150.2722 . DOI : 10.1016 / j.csda.2008.10.015 . 
  52. ^ Locasto, Майкл E .; Ван, Кэ; Keromytis, Angeles D .; Сальваторе, Дж. Столфо (2005). FLIPS: гибридное адаптивное предотвращение вторжений . Последние достижения в обнаружении вторжений . Конспект лекций по информатике. 3858 . С. 82–101. CiteSeerX 10.1.1.60.3798 . DOI : 10.1007 / 11663812_5 . ISBN  978-3-540-31778-4.
  53. ^ Джачинто, Джорджио; Пердиши, Роберто; Дель Рио, Мауро; Роли, Фабио (январь 2008 г.). «Обнаружение вторжений в компьютерные сети модульным ансамблем одноклассных классификаторов». Информационный фьюжн . 9 (1): 69–82. CiteSeerX 10.1.1.69.9132 . DOI : 10.1016 / j.inffus.2006.10.002 . 
  54. ^ Му, Сяоянь; Лу, Цзянфэн; Ватта, Пол; Хассун, Мохамад Х. (июль 2009 г.). Ансамблевые классификаторы на основе взвешенного голосования с применением для распознавания лиц и голоса . 2009 Международная совместная конференция по нейронным сетям . С. 2168–2171. DOI : 10.1109 / IJCNN.2009.5178708 . ISBN 978-1-4244-3548-7. S2CID  18850747 .
  55. ^ Ю, Вс; Шан, Шигуанг; Чен, Силинь; Гао, Вэнь (апрель 2006 г.). Иерархический ансамбль классификатора Габора Фишера для распознавания лиц . Автоматическое распознавание лиц и жестов, 2006. FGR 2006. 7-я Международная конференция по автоматическому распознаванию лиц и жестов (FGR06) . С. 91–96. DOI : 10.1109 / FGR.2006.64 . ISBN 978-0-7695-2503-7. S2CID  1513315 .
  56. ^ Su, Y .; Shan, S .; Чен, X .; Гао, В. (сентябрь 2006 г.). Классификатор Габора-Фишера на основе патчей для распознавания лиц . Труды - Международная конференция по распознаванию образов . 2 . С. 528–531. DOI : 10.1109 / ICPR.2006.917 . ISBN 978-0-7695-2521-1. S2CID  5381806 .
  57. ^ Лю, Ян; Линь Юнчжэн; Чен, Юэхуэй (июль 2008 г.). Классификация ансамблей на основе ICA для распознавания лиц . Материалы - 1-й Международный конгресс по обработке изображений и сигналов, Конференция IEEE, CISP 2008 . С. 144–148. DOI : 10,1109 / CISP.2008.581 . ISBN 978-0-7695-3119-9. S2CID  16248842 .
  58. ^ Ригер, Стивен А .; Муралидхаран, Раджани; Рамачандран, Рави П. (2014). Распознавание эмоций на основе речи с использованием спектрального выделения признаков и ансамбля классификаторов kNN . Материалы 9-го Международного симпозиума по обработке разговорной речи на китайском языке, ISCSLP 2014 . С. 589–593. DOI : 10.1109 / ISCSLP.2014.6936711 . ISBN 978-1-4799-4219-0. S2CID  31370450 .
  59. ^ Краевский, Ярек; Батлинер, Антон; Кессель, Силке (октябрь 2010 г.). Сравнение нескольких классификаторов для определения уверенности в себе на основе речи - экспериментальное исследование . 2010 20-я Международная конференция по распознаванию образов . С. 3716–3719. DOI : 10.1109 / ICPR.2010.905 . ISBN 978-1-4244-7542-1. S2CID  15431610 .
  60. ^ Рани, П. Итхая; Мунисваран, К. (25 мая 2016 г.). «Распознавайте эмоции лица в видеопоследовательностях, используя височные черты Габора по глазам и рту». Мультимедийные инструменты и приложения . 76 (7): 10017–10040. DOI : 10.1007 / s11042-016-3592-у . S2CID 20143585 . 
  61. ^ Рани, П. Итхая; Мунисваран, К. (август 2016 г.). «Распознавание эмоций на лице по областям глаз и рта». Международный журнал распознавания образов и искусственного интеллекта . 30 (7): 1655020. DOI : 10,1142 / S021800141655020X .
  62. ^ Рани, П. Итхая; Muneeswaran, K (28 марта 2018 г.). «Распознавание эмоций по лицевым компонентам» . Садхана . 43 (3). DOI : 10.1007 / s12046-018-0801-6 .
  63. ^ Лузада, Франциско; Ара, Андерсон (октябрь 2012 г.). «Вероятностные сети с k-зависимостью: альтернативный мощный инструмент обнаружения мошенничества». Экспертные системы с приложениями . 39 (14): 11583–11592. DOI : 10.1016 / j.eswa.2012.04.024 .
  64. ^ Сундаркумар, Г. Ганеш; Рави, Вадламани (январь 2015 г.). «Новый гибридный метод недостаточной выборки для анализа несбалансированных наборов данных в банковском деле и страховании». Технические приложения искусственного интеллекта . 37 : 368–377. DOI : 10.1016 / j.engappai.2014.09.019 .
  65. ^ а б Ким, Юнсон; Sohn, So Young (август 2012 г.). «Обнаружение мошенничества с акциями с помощью группового анализа». Экспертные системы с приложениями . 39 (10): 8986–8992. DOI : 10.1016 / j.eswa.2012.02.025 .
  66. ^ Савио, А .; Гарсия-Себастьян, MT; Чызык, Д .; Hernandez, C .; Graña, M .; Sistiaga, A .; Лопес де Мунайн, А .; Вильянуа, Дж. (Август 2011 г.). «Обнаружение нейрокогнитивного расстройства на основе векторов признаков, извлеченных из VBM-анализа структурной МРТ». Компьютеры в биологии и медицине . 41 (8): 600–610. DOI : 10.1016 / j.compbiomed.2011.05.010 . PMID 21621760 . 
  67. ^ Ayerdi, B .; Савио, А .; Гранья, М. (июнь 2013 г.). Мета-ансамбли классификаторов для выявления болезни Альцгеймера с использованием независимых функций ROI . Конспект лекций по информатике (включая конспекты лекций по искусственному интеллекту и конспекты лекций по биоинформатике) . Конспект лекций по информатике. 7931 . С. 122–130. DOI : 10.1007 / 978-3-642-38622-0_13 . ISBN 978-3-642-38621-3.
  68. ^ Гу, Цюань; Дин, Юн-Шэн; Чжан, Тонг-Лян (апрель 2015 г.). «Прогнозирование классов рецепторов, связанных с G-белком, на основе ансамблевого классификатора с низкой гомологией». Нейрокомпьютеры . 154 : 110–118. DOI : 10.1016 / j.neucom.2014.12.013 .

Дальнейшее чтение [ править ]

  • Чжоу Чжихуа (2012). Ансамблевые методы: основы и алгоритмы . Чепмен и Холл / CRC. ISBN 978-1-439-83003-1.
  • Роберт Шапир ; Йоав Фройнд (2012). Повышение: основы и алгоритмы . Массачусетский технологический институт. ISBN 978-0-262-01718-3.

Внешние ссылки [ править ]

  • Роби Поликар (ред.). «Ансамблевое обучение» . Scholarpedia .
  • Набор инструментов Waffles (машинное обучение) содержит реализации Bagging, Boosting, Bayesian Model Averaging, Bayesian Model Combination, Bucket-of-models и других ансамблевых методов.