Обучение ранжированию [1] или ранжирование с помощью машинного обучения ( MLR ) - это применение машинного обучения , обычно контролируемого , частично контролируемого или подкрепляющего обучения , при построении моделей ранжирования для систем поиска информации. [2] Данные обучения состоят из списков элементов с некоторым частичным порядком, указанным между элементами в каждом списке. Этот порядок обычно создается путем выставления числовой или порядковой оценки или бинарного суждения (например, «релевантный» или «нерелевантный») для каждого пункта. Целью модели ранжирования является ранжирование, т. Е. Созданиеперестановка элементов в новых, невидимых списках аналогично ранжированию в обучающих данных.
Приложения
В поиске информации
Ранжирование является центральной частью многих проблем поиска информации , таких как поиск документов , совместная фильтрация , анализ настроений и онлайн-реклама .
Возможная архитектура поисковой машины с машинным обучением показана на прилагаемом рисунке.
Данные обучения состоят из запросов и документов, соответствующих им, вместе со степенью релевантности каждого совпадения. Он может быть приготовлен вручную человеческими испытателями (или оценщиками , поскольку Google называет их), которые проверяют результаты для некоторых запросов и определить релевантность каждого результата. Невозможно проверить релевантность всех документов, поэтому обычно используется метод, называемый объединением - проверяются только несколько верхних документов, извлеченных некоторыми существующими моделями ранжирования. Кроме того , учебные данные могут быть получены автоматически на основе анализа кликов журналов (т.е. результатов , которые получили клики от поиска пользователей), [3] запрос цепочка , [4] или функции , таких поисковиков как Google, Википоиск .
Обучающие данные используются алгоритмом обучения для создания модели ранжирования, которая вычисляет релевантность документов для реальных запросов.
Обычно пользователи ожидают, что поисковый запрос будет выполнен за короткое время (например, несколько сотен миллисекунд для веб-поиска), что делает невозможным оценку сложной модели ранжирования для каждого документа в корпусе, поэтому двухэтапная схема является использовал. [5] Во-первых, небольшое количество потенциально релевантных документов идентифицируется с использованием более простых моделей поиска, которые позволяют быстро оценивать запросы, таких как модель векторного пространства , логическая модель , взвешенное И, [6] или BM25 . Этот этап называется верхним.поиск документов и многие эвристические методы были предложены в литературе для его ускорения, например, с использованием статической оценки качества документа и многоуровневых индексов. [7] На втором этапе для повторного ранжирования этих документов используется более точная, но дорогостоящая в вычислительном отношении модель машинного обучения.
В других сферах
Алгоритмы обучения ранжированию применялись не только в поиске информации, но и в других областях:
- В машинном переводе для ранжирования набора предполагаемых переводов; [8]
- В вычислительной биологии для ранжирования кандидатов в трехмерные структуры в задачах предсказания структуры белков. [8]
- В рекомендательных системах для определения ранжированного списка связанных новостных статей, которые можно рекомендовать пользователю после того, как он или она прочитает текущую новостную статью. [9]
- В программной инженерии для локализации неисправностей использовались методы обучения ранжированию. [10]
Векторы признаков
Для удобства алгоритмов MLR пары запрос-документ обычно представлены числовыми векторами, которые называются векторами признаков . Такой подход иногда называют набором функций и аналогичен модели набора слов и модели векторного пространства, используемой при поиске информации для представления документов.
Компоненты таких векторов называются признаками , факторами или ранжирующими сигналами . Их можно разделить на три группы (в качестве примеров показаны функции поиска документов ):
- Независимые от запросов или статические функции - те функции, которые зависят только от документа, но не от запроса. Например, PageRank или длина документа. Такие функции могут быть предварительно вычислены в автономном режиме во время индексации. Их можно использовать для вычисления статической оценки качества документа (или статического ранга ), которая часто используется для ускорения оценки поискового запроса. [7] [11]
- Зависящие от запроса или динамические функции - те функции, которые зависят как от содержимого документа, так и от запроса, такие как оценка TF-IDF или другие функции ранжирования, не связанные с машинным обучением.
- Функции уровня запроса или функции запроса , которые зависят только от запроса. Например, количество слов в запросе.
Некоторые примеры функций, которые использовались в известном наборе данных LETOR :
- TF, TF-IDF , BM25 и оценки языкового моделирования зон документа (заголовок, тело, текст привязки, URL) для данного запроса;
- Длины и суммы IDF зон документа;
- Документа PageRank , HITS ряды и их варианты.
Выбор и разработка хороших функций - важная область машинного обучения, которая называется функциональной инженерией .
Меры оценки
Существует несколько показателей (метрик), которые обычно используются для оценки того, насколько хорошо алгоритм работает с данными обучения, и для сравнения производительности различных алгоритмов MLR. Часто проблема обучения ранжированию переформулируется как проблема оптимизации по одной из этих метрик.
Примеры показателей качества ранжирования:
- Средняя средняя точность (MAP);
- DCG и NDCG ;
- Precision @ n , NDCG @ n , где «@ n » означает, что показатели оцениваются только для первых n документов;
- Средний взаимный ранг ;
- Тау Кендалла ;
- Ро Спирмена .
DCG и его нормализованный вариант NDCG обычно предпочтительнее в академических исследованиях, когда используются несколько уровней релевантности. [12] Другие показатели, такие как MAP, MRR и точность, определены только для двоичных суждений.
Недавно было предложено несколько новых показателей оценки, которые претендуют на то, чтобы моделировать удовлетворенность пользователя результатами поиска лучше, чем показатель DCG:
- Ожидаемый взаимный ранг (ERR); [13]
- Яндекс pfound. [14]
Обе эти метрики основаны на предположении, что пользователь, скорее всего, перестанет смотреть результаты поиска после изучения более релевантного документа, чем после менее релевантного документа.
Подходы
Ти-Ян Лю из Microsoft Research Asia проанализировал существующие алгоритмы обучения ранжированию проблем в своей книге « Обучение ранжированию для поиска информации» . [1] Он разделил их на три группы по их входным пространствам, выходным пространствам, пространствам гипотез (основная функция модели) и функциям потерь : поточечный, попарный и списочный подход. На практике списочные подходы часто превосходят попарные и точечные подходы. Это утверждение было дополнительно подтверждено крупномасштабным экспериментом по производительности различных методов обучения ранжированию на большом наборе эталонных наборов данных. [15]
В этом разделе без дополнительного уведомления обозначает объект для оценки, например, документ или изображение, обозначает однозначную гипотезу, обозначает двумерную или многомерную функцию функции и обозначает функцию потерь.
Точечный подход
В этом случае предполагается, что каждая пара запрос-документ в обучающих данных имеет числовую или порядковую оценку. Тогда проблема обучения ранжированию может быть аппроксимирована проблемой регрессии - по единственной паре запрос-документ предсказать ее оценку. Формально говоря, поточечный подход направлен на изучение функции прогнозирование реальной стоимости или порядковой оценки документа используя функцию потерь .
Для этой цели можно легко использовать ряд существующих алгоритмов контролируемого машинного обучения. Алгоритмы порядковой регрессии и классификации также могут использоваться в точечном подходе, когда они используются для прогнозирования оценки одной пары запрос-документ, и это требует небольшого конечного числа значений.
Парный подход
В этом случае проблема обучения ранжированию аппроксимируется задачей классификации - изучением двоичного классификатора. это может сказать, какой документ лучше в данной паре документов. Классификатор должен принимать два изображения в качестве входных данных, и цель состоит в том, чтобы минимизировать функцию потерь.. Функция потерь может отражать среднее количество инверсий в рейтинге.
Во многих случаях двоичный классификатор реализован с функцией подсчета очков . Например, RankNet [16] адаптирует вероятностную модель и определяет как оценочная вероятность документа имеет более высокое качество, чем :
где - кумулятивная функция распределения , например, стандартный логистический CDF , т.е.
Списочный подход
Эти алгоритмы пытаются напрямую оптимизировать значение одной из вышеперечисленных мер оценки, усредненной по всем запросам в обучающих данных. Это сложно, потому что большинство показателей оценки не являются непрерывными функциями по отношению к параметрам модели ранжирования, и поэтому необходимо использовать непрерывные приближения или границы для показателей оценки.
Список методов
Ниже показан частичный список опубликованных алгоритмов обучения для ранжирования с указанием года первой публикации каждого метода:
Год Имя Тип Заметки 1989 г. ОПРФ [17] точечно Полиномиальная регрессия (вместо машинного обучения эта работа относится к распознаванию образов, но идея та же) 1992 г. SLR [18] точечно Поэтапная логистическая регрессия 1994 г. NMOpt [19] по списку Неметрическая оптимизация 1999 г. MART (деревья множественной аддитивной регрессии) попарно 2000 г. Ранжирование SVM (RankSVM) попарно Более поздняя экспозиция содержится в [3], где описывается приложение для ранжирования с использованием журналов переходов по ссылкам. 2002 г. Шутки [20] точечно Порядковая регрессия. 2003 г. RankBoost попарно 2005 г. RankNet попарно 2006 г. ИК-СВМ попарно Ранжирование SVM с нормализацией уровня запроса в функции потерь. 2006 г. LambdaRank попарно / по списку RankNet, в которой функция попарных потерь умножается на изменение показателя IR, вызванное свопом. 2007 г. AdaRank по списку 2007 г. Откровенный попарно На основе RankNet используется другая функция потерь - потеря точности. 2007 г. GBRank попарно 2007 г. ListNet по списку 2007 г. McRank точечно 2007 г. QBRank попарно 2007 г. Ранг по списку 2007 г. RankGP [21] по списку 2007 г. RankRLS попарно Рейтинг на основе регулярных наименьших квадратов. В [22] эта работа расширена до обучения ранжированию по графам общих предпочтений.
2007 г. Карта SVM по списку 2008 г. LambdaSMART / LambdaMART попарно / по списку В недавнем конкурсе Yahoo Learning to Rank, победившем в конкурсе, использовалось множество моделей LambdaMART. На основе MART (1999) [23] «LambdaSMART» для Lambda-submodel-MART или LambdaMART для случая без подмодели (https://www.microsoft.com/en-us/research/wp-content/uploads /2016/02/tr-2008-109.pdf ). 2008 г. ListMLE по списку На основе ListNet. 2008 г. PermuRank по списку 2008 г. SoftRank по списку 2008 г. Уточнение рейтинга [24] попарно Полуконтролируемый подход к обучению ранжированию с использованием Boosting. 2008 г. SSRankBoost [25] попарно Расширение RankBoost для обучения с частично размеченными данными (полу-контролируемое обучение для ранжирования) 2008 г. SortNet [26] попарно SortNet, алгоритм адаптивного ранжирования, который упорядочивает объекты с использованием нейронной сети в качестве компаратора. 2009 г. MPBoost попарно Сохраняющий величину вариант RankBoost. Идея состоит в том, что чем более неравны метки пары документов, тем сложнее алгоритм должен пытаться их ранжировать. 2009 г. BoltzRank по списку В отличие от более ранних методов, BoltzRank создает модель ранжирования, которая просматривает во время запроса не только отдельный документ, но и пары документов. 2009 г. BayesRank по списку Метод сочетает в себе модель Плакетта-Люса и нейронную сеть, чтобы минимизировать ожидаемый байесовский риск, связанный с NDCG, с точки зрения принятия решений. 2010 г. NDCG Boost [27] по списку Повышающий подход к оптимизации NDCG. 2010 г. GBlend попарно Расширяет GBRank до задачи обучения для объединения совместного решения нескольких задач обучения для ранжирования с некоторыми общими функциями. 2010 г. IntervalRank попарно и по списку 2010 г. CRR точечно и попарно Комбинированная регрессия и ранжирование. Использует стохастический градиентный спуск для оптимизации линейной комбинации точечно-квадратичных потерь и попарных потерь на шарнирах из SVM ранжирования. 2014 г. LCR попарно Применено местное предположение о низком ранге для совместного ранжирования. Получил награду за лучшую студенческую работу на WWW'14. 2015 г. FaceNet попарно Ранжирует изображения лиц по триплетной метрике с помощью глубокой сверточной сети. 2016 г. XGBoost попарно Поддерживает различные цели ранжирования и показатели оценки. 2017 г. ES-рейтинг по списку Эволюционная стратегия Методика обучения ранжированию с 7 метриками оценки пригодности 2018 г. PolyRank [28] попарно Одновременно изучает ранжирование и базовую генеративную модель из парных сравнений. 2018 г. FATE-Net / FETA-Net [29] по списку Сквозные обучаемые архитектуры, которые явно учитывают все элементы для моделирования контекстных эффектов. 2019 г. FastAP [30] по списку Оптимизирует среднюю точность для изучения глубоких встраиваний 2019 г. Шелковица список и гибрид Изучает политики ранжирования, максимизируя несколько показателей по всему набору данных 2019 г. DirectRanker попарно Обобщение архитектуры RankNet 2020 г. PRM [31] попарно Трансформаторная сеть, кодирующая как зависимости между элементами, так и взаимодействия между пользователем и предметами
Примечание: поскольку большинство алгоритмов контролируемого обучения могут применяться к точечным случаям, выше показаны только те методы, которые специально разработаны с учетом ранжирования.
История
Норберт Фур представил общую идею MLR в 1992 году, описывая подходы к обучению в поиске информации как обобщение оценки параметров; [32] конкретный вариант этого подхода (с использованием полиномиальной регрессии ) был опубликован им тремя годами ранее. [17] Билл Купер предложил логистическую регрессию для той же цели в 1992 году [18] и использовал ее со своей исследовательской группой в Беркли для обучения успешной функции ранжирования для TREC . Manning et al. [33] предполагают, что эти ранние работы достигли ограниченных результатов в свое время из-за небольшого количества доступных обучающих данных и плохих методов машинного обучения.
На нескольких конференциях, таких как NIPS , SIGIR и ICML, с середины 2000-х (десятилетие) проводились семинары, посвященные проблеме обучения ранжированию.
Практическое использование поисковыми системами
Коммерческие поисковые машины начали использовать системы ранжирования с машинным обучением с 2000-х (десятилетие). Одной из первых поисковых систем, начавших использовать его, была AltaVista (позже ее технология была приобретена Overture , а затем Yahoo ), которая запустила функцию ранжирования с использованием градиентного повышения в апреле 2003 года. [34] [35]
Считается, что поиск Bing основан на алгоритме RankNet , [36] [ когда? ], который был изобретен в Microsoft Research в 2005 году.
В ноябре 2009 года российская поисковая система Яндекс объявила [37], что она значительно повысила качество поиска благодаря внедрению нового патентованного алгоритма MatrixNet , варианта метода повышения градиента, использующего неявные деревья решений. [38] Недавно они также спонсировали соревнование по ранжированию машинного обучения «Internet Mathematics 2009» [39], основанное на производственных данных их собственной поисковой системы. Yahoo объявила об аналогичном конкурсе в 2010 году. [40]
В 2008 году Google «S Питер Норвиг отрицал , что их поисковая система исключительно полагается на машины узнал рейтинг. [41] Генеральный директор Cuil , Том Костелло, предполагает, что они предпочитают модели, созданные вручную, потому что они могут превзойти модели с машинным обучением, если сравнивать их с такими показателями, как CTR или время на целевой странице, потому что модели с машинным обучением " узнайте, что люди говорят, что им нравится, а не то, что им нравится на самом деле " [42]
В январе 2017 года эта технология была включена в поисковую систему с открытым исходным кодом Apache Solr ™ [43], что сделало ранг поиска с машинным обучением широко доступным и для корпоративного поиска.
Уязвимости
Подобно приложениям распознавания в компьютерном зрении , недавние алгоритмы ранжирования на основе нейронных сетей также оказались уязвимыми для скрытых состязательных атак как на кандидатов, так и на запросы. [44] При небольших возмущениях, незаметных для человека, порядок ранжирования может быть произвольно изменен. Кроме того, было обнаружено, что возможны переносимые состязательные примеры, не зависящие от модели, что позволяет проводить состязательные атаки методом черного ящика на системы с глубоким ранжированием, не требуя доступа к их базовым реализациям. [44] [45]
И наоборот, надежность таких систем ранжирования может быть повышена с помощью противостоящей защиты, такой как защита Мэдри. [46]
Смотрите также
- Поиск изображений на основе содержимого
- Поиск мультимедийной информации
- Поиск изображений
- Потеря триплета
Рекомендации
- ^ Б Tie-Янь Лю (2009), "Учимся Rank для поиска информации", основы и тенденции информационного поиска , 3 (3): 225-331, DOI : 10,1561 / 1500000016 , ISBN 978-1-60198-244-5. Слайды выступления Тие-Янь Лю на конференции WWW 2009 доступны в Интернете.
- ^ Меряр Мори , Afshin Rostamizadeh, Ameet Talwalkar (2012) Основы машинного обучения , The MIT Press ISBN 9780262018258 .
- ^ а б Иоахимс, Т. (2002), «Оптимизация поисковых систем с использованием данных с переходом по ссылкам» (PDF) , Труды конференции ACM по открытию знаний и интеллектуальному анализу данных.
- ^ Иоахим Т .; Радлински Ф. (2005), «Цепочки запросов: обучение ранжированию на основе неявной обратной связи» (PDF) , Труды конференции ACM по обнаружению знаний и интеллектуальному анализу данных , arXiv : cs / 0605035 , Bibcode : 2006cs ....... .5035R
- ^ Б. Камбазоглу; Х. Сарагоса; О. Шапель; Дж. Чен; К. Ляо; Z. Zheng; Дж. Дегенхардт. «Оптимизация на раннем этапе для аддитивных систем ранжирования с машинным обучением» (PDF) , WSDM '10: Материалы третьей международной конференции ACM по веб-поиску и интеллектуальному анализу данных, 2010 г.
- ^ Бродер А .; Carmel D .; Herscovici M .; Соффер А .; Зиен Дж. (2003), «Эффективная оценка запроса с использованием двухуровневого процесса поиска» (PDF) , Труды Двенадцатой Международной конференции по управлению информацией и знаниями : 426–434, ISBN 978-1-58113-723-1, заархивировано из оригинального (PDF) 21 мая 2009 г. , получено 15 декабря 2009 г.
- ^ а б Manning C .; Рагхаван П .; Шютце Х. (2008), Введение в поиск информации , Cambridge University Press. Раздел 7.1
- ^ а б Кевин К. Дух (2009), Обучение ранжированию с частично размеченными данными (PDF)
- ^ Yuanhua Lv, Taesup Луна, Pranam Kolari, Zhaohui Чжэн, Xuanhui Ван и Yi Chang, Научиться модели связанности газетной Рекомендации архивации 2011-08-27 в Wayback Machine , в Международной конференции по World Wide Web (WWW), 2011 .
- ^ Сюань, Цзифэн; Монперрус, Мартин (2014). «Обучение объединению нескольких показателей ранжирования для локализации неисправности» . 2014 IEEE Международная конференция по сопровождению и развитию программного обеспечения . С. 191–200. CiteSeerX 10.1.1.496.6829 . DOI : 10.1109 / ICSME.2014.41 . ISBN 978-1-4799-6146-7. S2CID 11223473 .
- ^ Richardson, M .; Пракаш, А .; Брилл, Э. (2006). «За пределами PageRank: машинное обучение для статического ранжирования» (PDF) . Материалы 15-й Международной конференции в Интернете . С. 707–715.
- ^ http://www.stanford.edu/class/cs276/handouts/lecture15-learning-ranking.ppt
- ^ Оливье Шапель; Дональд Метцлер; Я Чжан; Пьер Гринспан (2009 г.), «Ожидаемый взаимный рейтинг для оцениваемой релевантности» (PDF) , CIKM , заархивировано из оригинала (PDF) 24 февраля 2012 г.
- ^ Гулин А .; Карпович П .; Расковалов Д .; Сегалович И. (2009), «Яндекс на РОМИП'2009: оптимизация алгоритмов ранжирования методами машинного обучения» (PDF) , Труды РОМИП'2009 : 163–168 (на русском)
- ^ Налог, Ник; Боктинг, Сандер; Hiemstra, Djoerd (2015), «Сравнение 87 методов обучения ранжированию» (PDF) , Information Processing & Management , 51 (6): 757–772, doi : 10.1016 / j.ipm.2015.07.002 , заархивировано из оригинала (PDF) 09.08.2017 , получено 15.10.2017
- ^ Берджес, Крис JC; Шакед, Таль; Реншоу, Эрин; Лазьер, Ари; Дело, Мэтт; Гамильтон, Николь; Халлендер, Грег (1 августа 2005 г.). «Обучение ранжированию с использованием градиентного спуска» .
- ^ а б Фур, Норберт (1989), "Оптимальные полиномиальные поисковые функции на основе принципа ранжирования вероятностей", ACM Сделки по информационным системам , 7 (3): 183-204, DOI : 10,1145 / 65943,65944 , S2CID 16632383
- ^ а б Купер, Уильям С .; Гей, Фредерик Ч .; Dabney, Daniel P. (1992), «Вероятностный поиск на основе поставил логистической регрессии», SIGIR '92 Труды 15 - й ежегодный международный ACM SIGIR конференция по исследованиям и разработкам по информационному поиску : 198-210, DOI : 10,1145 / 133160,133199 , ISBN 978-0897915236, S2CID 125993
- ^ Бартелл, Брайан Т .; Коттрелл Гаррисон В .; Белью, Ричард К. (1994), "Автоматическая комбинация множественных систем ранжированного поиска" , Материалы SIGIR '94 17-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска : 173–181, ISBN 978-0387198897
- ^ «Шутки». CiteSeerX 10.1.1.20.378 . Цитировать журнал требует
|journal=
( помощь ) - ^ «RankGP». CiteSeerX 10.1.1.90.220 . Цитировать журнал требует
|journal=
( помощь ) - ^ Пахиккала, Тапио; Цивцивадзе, Евгений; Аирола, Антти; Ярвинен, Йоуни; Boberg, Йорм (2009), "Эффективный алгоритм для обучения ранга из привилегированных графов", машинное обучения , 75 (1): 129-165, да : 10,1007 / s10994-008-5097-г .
- ^ С. Берджес. (2010). От RankNet к LambdaRank к LambdaMART: обзор .
- ^ Ронг Джин, Хамед Вализадеган, Ханг Ли, Уточнение рейтинга и его применение для поиска информации , на Международной конференции по всемирной паутине (WWW), 2008.
- ^ Massih-Реза Амини, Виньте Чыонг, Кирилл Goutte, повышающий алгоритм для обучения Двудольной Оценки функций с частично мечеными данными Архивированных 2010-08-02 в Wayback Machine , International ACM СГИВИТЕ конференции, 2008. Кода архивации 2010-07-23 в Wayback Machine доступен для исследовательских целей.
- ^ Леонардо Ригутини, Тициано Папини, Марко Маггини, Франко Скарселли, «SortNet: обучение ранжированию с помощью нейронного алгоритма сортировки» , семинар SIGIR 2008: Обучение ранжированию для поиска информации, 2008
- ^ Хамед Valizadegan, Rong Jin, Ruofei Чжан, Jianchang Мао , Учится ранг, оптимизируя NDCG Мере , в Тезах нейронных систем обработки информации (Н), 2010.
- ^ Давыдов, Ори; Айлон, Нир; Оливейра, Иво Ф. Д. (2018). «Новый и гибкий подход к анализу парных сравнительных данных» . Журнал исследований в области машинного обучения . 19 (60): 1-29. ISSN 1533-7928 .
- ^ Пфанншмидт, Карлсон; Гупта, Прита; Хюллермайер, Эйке (2018). «Глубокие архитектуры для обучения контекстно-зависимым функциям ранжирования». arXiv : 1803.05796 [ stat.ML ].
- ^ Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank , In Proc. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR), 2019 г.
- ^ Лю, Вэйвэнь; Лю, Цин; Тан, Руиминг; Чен, Цзюньян; Он, Сюцян; Хенг, Пхенг Анн (2020-10-19). «Персонализированное изменение рейтинга с учетом взаимосвязей предметов для электронной коммерции» . Материалы 29-й Международной конференции ACM по управлению информацией и знаниями . ЦИКМ '20. Виртуальное событие, Ирландия: Ассоциация вычислительной техники: 925–934. DOI : 10.1145 / 3340531.3412332 . ISBN 978-1-4503-6859-9.
- ^ Фур, Норберт (1992), "Вероятностные модели информационного поиска", Компьютерный журнал , 35 (3): 243-255, DOI : 10,1093 / comjnl / 35.3.243
- ^ Manning C .; Рагхаван П .; Шютце Х. (2008), Введение в поиск информации , Cambridge University Press. Разделы 7.4 и 15.5
- ^ Ян О. Педерсен. История MLR, заархивированная 13 июля 2011 г. в Wayback Machine
- ^ Патент США 7,197,497
- ^ Блог поиска Bing: потребности пользователей, особенности и наука, лежащая в основе Bing
- ^ Яндекс запись корпоративный блог о новом рейтинге модели «Снежинский» (на русском)
- ^ Алгоритм не был раскрыт, но некоторые детали были обнародованы в [1] и [2] .
- ^ «Страница конкурса Яндекс Интернет-математика 2009» . Архивировано из оригинала на 2015-03-17 . Проверено 11 ноября 2009 .
- ^ "Yahoo Learning to Rank Challenge" . Архивировано из оригинала на 2010-03-01 . Проверено 26 февраля 2010 .
- ^ Раджараман, Ананд ( 24 мая 2008 г. ). «Склонны ли модели с машинным обучением к катастрофическим ошибкам?» . Архивировано 18 сентября 2010 года . Проверено 11 ноября 2009 .
- ^ Костелло, Том (26.06.2009). «Блог Cuil: Как дела у Bing?» . Архивировано из оригинала на 2009-06-27.
- ^ «Как Bloomberg интегрировал Learning-to-Rank в Apache Solr | Tech в Bloomberg» . Технология в Bloomberg . 2017-01-23 . Проверено 28 февраля 2017 .
- ^ а б Чжоу, Мо; Ню, Чжэньсин; Ван, Ле; Чжан, Цилинь; Хуа, банда (2020). «Состязательный рейтинг атаки и защиты». arXiv : 2002.11293v2 [ cs.CV ].
- ^ Ли, Цзе; Джи, Ронгронг; Лю, Хун; Хун, Сяопэн; Гао, Юэ; Тиан, Ци. «Универсальная атака возмущения против поиска изображений» . Международная конференция по компьютерному зрению (ICCV 2019) . С. 4899–4908.
- ^ Мадри, Александр; Макелов, Александр; Шмидт, Людвиг; Ципрас, Димитрис; Владу, Адриан (19.06.2017). «На пути к моделям глубокого обучения, устойчивым к враждебным атакам». arXiv : 1706.06083v4 [ stat.ML ].
Внешние ссылки
- Соревнования и общедоступные наборы данных
- LETOR: Сборник эталонов для исследований по обучению ранжированию для поиска информации
- Интернет-математика Яндекса 2009
- Yahoo! Учимся ранжировать вызов
- Microsoft учится ранжировать наборы данных
- Открытый исходный код
- Параллельная реализация C ++ / MPI деревьев регрессии с градиентом для ранжирования, выпущенная в сентябре 2011 г.
- Реализация на C ++ деревьев регрессии с градиентом и случайных лесов для ранжирования
- Инструменты C ++ и Python для использования алгоритма SVM-Rank
- Реализация Java в поисковой системе Apache Solr