Приз Netflix представлял собой открытый конкурс на лучший алгоритм совместной фильтрации для прогнозирования пользовательских оценок фильмов на основе предыдущих оценок без какой-либо другой информации о пользователях или фильмах, то есть без идентификации пользователей или фильмов, за исключением номеров, присвоенных для конкурса. .
Конкурс проводился Netflix , онлайн-сервисом проката DVD и потокового видео, и был открыт для всех, кто не связан с Netflix (нынешние и бывшие сотрудники, агенты, близкие родственники сотрудников Netflix и т. заблокированные страны (например, Куба или Северная Корея). [1] 21 сентября 2009 года главный приз в размере 1 000 000 долларов США был вручен команде BellKor Pragmatic Chaos, которая превзошла собственный алгоритм Netflix для прогнозирования рейтингов на 10,06%. [2]
Проблема и наборы данных
Netflix предоставил набор обучающих данных из 100 480 507 оценок, которые 480 189 пользователей дали 17 770 фильмам. Каждый рейтинг обучения - это четверка формы
. Поля пользователя и фильма представляют собой целочисленные идентификаторы, а оценки - от 1 до 5 (целых) звезд. [3]
Набор квалификационных данных содержит более 2 817 131 троек формы
с оценками, известными только жюри. Алгоритм участвующей команды должен прогнозировать оценки по всему отборочному набору, но им сообщается только оценка для половины данных, набора викторины из 1 408 342 оценок. Другая половина - это тестовый набор из 1 408 789, результаты которого используются жюри для определения потенциальных призеров. Только судьи знают, какие оценки входят в набор викторины, а какие - в тестовом наборе - это сделано для того, чтобы затруднить восхождение на холм на тестовом наборе. Представленные прогнозы сравниваются с истинными оценками с точки зрения среднеквадратичной ошибки (RMSE), и цель состоит в том, чтобы уменьшить эту ошибку в максимально возможной степени. Обратите внимание, что, хотя фактические оценки являются целыми числами в диапазоне от 1 до 5, представленные прогнозы не должны быть такими. Netflix также идентифицировал зонд подмножество 1,408,395 оценок в рамках обучения набора данных. В зонд , викторины и испытаний были выбраны наборы данных, имеют аналогичные статистические свойства.
В целом данные, использованные в Netflix Prize, выглядят следующим образом:
- Учебный набор (99 072 112 оценок, не включая набор датчиков, 100 480 507 оценок, включая набор датчиков)
- Набор датчиков (1 408 395 оценок)
- Отборочный набор (2 817 131 оценка) в составе:
- Набор тестов (1 408 789 оценок), используемый для определения победителей
- Набор викторин (1 408 342 оценки), используемый для расчета результатов в таблице лидеров.
Для каждого фильма название и год выпуска представлены в отдельном наборе данных. Информация о пользователях отсутствует. В целях защиты конфиденциальности клиентов "некоторые рейтинговые данные некоторых клиентов в обучающих и квалификационных наборах были намеренно изменены одним или несколькими из следующих способов: удаление оценок; добавление альтернативных оценок и дат; и изменение дат оценок. ". [2]
Обучающий набор таков, что средний пользователь оценил более 200 фильмов, а средний фильм оценили более 5000 пользователей. Но существует большое расхождение в данных-некоторых фильмах в обучающем наборе иметь как 3 оценок, [4] в то время как один пользователь оценил более 17000 фильмов. [5]
Были некоторые разногласия относительно выбора RMSE в качестве определяющей метрики. Действительно ли принесет пользу пользователям снижение RMSE на 10%? Было заявлено, что даже такое небольшое улучшение, как RMSE на 1%, приводит к значительной разнице в рейтинге «топ-10» фильмов, наиболее рекомендуемых для пользователя. [6]
Призы
Призы основывались на улучшении по сравнению с собственным алгоритмом Netflix, называемом Cinematch , или на результатах предыдущего года, если команда добилась улучшения, превышающего определенный порог. Тривиальный алгоритм, который предсказывает для каждого фильма в викторине его среднюю оценку на основе данных обучения, дает RMSE 1,0540. Cinematch использует «простые статистические линейные модели с большим количеством условий обработки данных». [7]
Используя только данные обучения, Cinematch оценивает RMSE 0,9514 по данным викторины, что примерно на 10% лучше по сравнению с тривиальным алгоритмом. Cinematch имеет аналогичную производительность на тестовой выборке - 0,9525. Чтобы выиграть главный приз в размере 1000000 долларов, участвующей команде нужно было улучшить его еще на 10%, чтобы получить 0,8572 на тестовой выборке. [2] Такое улучшение набора тестов соответствует RMSE 0,8563.
Пока ни одна команда не выиграла главный приз, прогресс приз 50 000 $ был награжден ежегодно за лучший результат до сих пор. Однако для того, чтобы выиграть этот приз, алгоритм должен был улучшить RMSE в викторине, установленной как минимум на 1% по сравнению с предыдущим победителем приза прогресса (или по сравнению с Cinematch в первый год). Если ни одна из заявок не прошла успешно, приз за прогресс в этом году не присуждался.
Чтобы выиграть прогресс или главный приз, участник должен был предоставить жюри исходный код и описание алгоритма в течение одной недели после того, как они связались с ним. После проверки победитель также должен был предоставить Netflix неисключительную лицензию. Netflix будет публиковать только описание, но не исходный код системы. (Чтобы сохранить свой алгоритм и исходный код в секрете, команда могла не претендовать на приз.) Жюри также держало свои прогнозы в секрете от других участников. Команда может отправить столько попыток предсказать оценки, сколько пожелает. Первоначально отправка была ограничена одним разом в неделю, но интервал был быстро изменен до одного раза в день. Лучшая заявка команды на данный момент засчитывается как ее текущая заявка.
Как только одной из команд удастся улучшить RMSE на 10% или более, жюри объявляет последний звонок , давая всем командам 30 дней для отправки своих работ. Только после этого у команды с лучшими предложениями спросили описание алгоритма, исходный код и неисключительную лицензию, и после успешной проверки; объявлен обладателем главного приза.
Конкурс продлится до тех пор, пока не будет объявлен главный призер. Если бы главный приз никто не получил, он длился бы как минимум пять лет (до 2 октября 2011 года). После этой даты конкурс мог быть прекращен в любое время по собственному усмотрению Netflix.
Прогресс с годами
Конкурс начался 2 октября 2006 года. К 8 октября команда под названием WXYZConsulting уже побила результаты Cinematch. [8]
К 15 октября было три команды, которые обыграли Cinematch, одна из них на 1,06%, что достаточно, чтобы претендовать на ежегодный приз за прогресс. [9] К июню 2007 года для участия в соревнованиях зарегистрировалось более 20 000 команд из более чем 150 стран. 2000 команд представили более 13000 наборов прогнозов. [3]
В течение первого года соревнований несколько лидеров заняли первое место. Наиболее известными из них были: [10]
- WXYZConsulting, команда Вэй Сюй и И Чжан. (Фаворит в ноябре – декабре 2006 г.)
- ML @ UToronto A, команда из Университета Торонто под руководством профессора Джеффри Хинтона . (Фаворит в период с октября по декабрь 2006 г.)
- Gravity, команда из четырех ученых из Будапештского технологического университета (лидер в период с января по май 2007 г.)
- BellKor, группа ученых из AT&T Labs . (Лидер с мая 2007 года.)
12 августа 2007 года многие участники собрались на KDD Cup and Workshop 2007, проходившем в Сан-Хосе, Калифорния . [11] Во время семинара все четыре лучшие команды в то время представили свои методы. Команда IBM Research - Ян Лю, Сахарон Россет, Клаудия Перлич и Чжэньчжэнь Коу - заняла третье место в Задаче 1 и первое место в Задаче 2.
За второй год соревнований лидирующие позиции вышли всего три команды:
- BellKor, группа ученых из AT&T Labs . (лидер в период с мая 2007 г. по сентябрь 2008 г.)
- BigChaos, команда австрийских ученых из commendo Research & Consulting (лидер в единой команде с октября 2008 г.)
- BellKor в BigChaos, объединенной команде двух ведущих одиночных команд (лидер с сентября 2008 г.)
Премия "Прогресс 2007"
2 сентября 2007 года конкурс вступил в «последний вызов» Премии «Прогресс 2007». В конкурсе приняли участие более 40 000 команд из 186 стран мира. У них было тридцать дней, чтобы подать заявку на рассмотрение. В начале этого периода лидирующей командой была BellKor с RMSE 0,8728 (улучшение на 8,26%). затем следуют «Планета динозавров» (RMSE = 0,8769; улучшение 7,83%) и Gravity (RMSE = 0,8785; улучшение 7,66%). В последний час последнего звонка первое место заняла заявка «КорБелл». Это оказалось альтернативным названием Team BellKor. [ необходима цитата ]
13 ноября 2007 года команда KorBell (ранее BellKor) была объявлена победителем приза Progress Prize в размере 50 000 долларов США с RMSE 0,8712 (улучшение на 8,43%). [12] Команда состояла из трех исследователей из AT&T Labs , Иегуды Корена, Роберта Белла и Криса Волинского. [13] При необходимости они опубликовали описание своего алгоритма. [14]
Премия "Прогресс 2008"
Приз «Прогресс 2008» был вручен команде BellKor. Их работа в сочетании с другой командой, BigChaos достигла RMSE 0,8616 с 207 наборами предикторов. [15] В объединенную команду вошли два исследователя из commendo research & consulting GmbH, Андреас Тёшер и Майкл Ярер (первоначально команда BigChaos), и трое исследователей из AT&T Labs , Иегуда Корен, Роберт Белл и Крис Волински (первоначально команда BellKor). [16] При необходимости они опубликовали описание своего алгоритма. [17] [18]
Это была последняя награда за прогресс, потому что получение необходимого улучшения на 1% по сравнению с призом за прогресс 2008 года было бы достаточно, чтобы претендовать на главный приз. Призовые деньги были переданы в благотворительные фонды, выбранные победителями.
2009 г.
26 июня 2009 года команда BellKor's Pragmatic Chaos, слияние команд Bellkor in BigChaos и Pragmatic Theory, достигла улучшения на 10,05% по сравнению с Cinematch (RMSE викторины 0,8558). Затем конкурс Netflix Prize вступил в период «последнего звонка» для получения Гран-при. В соответствии с Правилами у команд было тридцать дней, до 26 июля 2009 г., 18:42:37 UTC, чтобы подать заявки, которые будут рассмотрены на этот приз. [19]
25 июля 2009 года команда «The Ensemble», слияние команд «Grand Prize Team» и «Opera Solutions и Vandelay United», достигла 10,09% улучшения по сравнению с Cinematch (RMSE викторины 0,8554). [20] [21]
26 июля 2009 года Netflix прекратил сбор заявок на конкурс Netflix Prize. [22]
Итоговая таблица лидеров на тот момент показала, что две команды соответствовали минимальным требованиям для получения Гран-при. «The Ensemble» с улучшением на 10,10% по сравнению с Cinematch в квалификационном наборе (RMSE викторины 0,8553) и «BellKor's Pragmatic Chaos» с улучшением на 10,09% по сравнению с Cinematch в квалификационном наборе (RMSE викторины 0,8554). [23] Победителем главного приза должен был быть тот, кто лучше выступил на тестовой выборке.
18 сентября 2009 года Netflix объявил команду BellKor's Pragmatic Chaos победителем (RMSE теста 0,8567), и приз был вручен команде на церемонии 21 сентября 2009 года. [24] «Ансамбль» команда совпала с результатом BellKor, но поскольку BellKor представила свои результаты на 20 минут раньше, правила присуждают приз BellKor. [21] [25]
Совместная команда BellKor's Pragmatic Chaos состояла из двух австрийских исследователей из Commendo Research & Consulting GmbH, Андреаса Тёшера и Михаэля Ярера (первоначально команда BigChaos), двух исследователей из AT&T Labs , Роберта Белла и Криса Волинского, Иегуды Корена из Yahoo! (первоначально команда BellKor) и два исследователя из Pragmatic Theory, Мартин Пиотт и Мартин Чабберт. [26] При необходимости они опубликовали описание своего алгоритма. [27]
Команда сообщила, что получила «сомнительные награды» ( sic Netflix) наихудших RMSE по наборам данных викторины и теста из 44 014 представлений, сделанных 5 169 командами, была «Lanterne Rouge» во главе с Дж. М. Линакром, который также был участник коллектива «Ансамбль».
Отменено продолжение
12 марта 2010 года Netflix объявил, что не будет проводить второй конкурс на призы, объявленный в августе прошлого года. Решение было принято в ответ на судебный процесс и озабоченность Федеральной торговой комиссией конфиденциальности. [28]
Проблемы конфиденциальности
Хотя наборы данных были созданы для сохранения конфиденциальности клиентов, приз подвергся критике со стороны защитников конфиденциальности. В 2007 году два исследователя из Техасского университета в Остине смогли идентифицировать отдельных пользователей , сопоставив наборы данных с рейтингами фильмов в базе данных Internet Movie Database . [29] [30]
17 декабря 2009 года четыре пользователя Netflix подали коллективный иск против Netflix, утверждая, что Netflix нарушила законы США о справедливой торговле и Закон о защите конфиденциальности видео , опубликовав наборы данных. [31] Состоялась публичная дискуссия о конфиденциальности участников исследования . 19 марта 2010 года Netflix достиг мирового соглашения с истцами, после чего они добровольно отклонили иск.
Смотрите также
- Краудсорсинг
- Открытые инновации
- Конкурс инноваций
- Конкурс поощрительных призов
- Kaggle
- Список наград в области информатики
Рекомендации
- ^ «Правила приза Netflix» (PDF) . Проверено 6 ноября 2019 .
- ^ а б в «Приз Netflix» . Архивировано из оригинала на 2009-09-24 . Проверено 9 июля 2012 .
- ^ а б Джеймс Беннетт; Стэн Лэннинг (12 августа 2007 г.). «Приз Netflix» (PDF) . Материалы KDD Cup and Workshop 2007 . Архивировано из оригинального (PDF) 27 сентября 2007 года . Проверено 25 августа 2007 .
- ^ Сигмовидная кривая (2008-10-08). «Мисс Конгениальность» . Форум премии Netflix . Архивировано из оригинала на 2012-03-03 . Проверено 25 августа 2007 .
- ^ потрясающе (2006-10-06). «Единый заказчик, оценивший 17 000 фильмов» . Форум премии Netflix . Архивировано из оригинала на 2012-03-03 . Проверено 25 августа 2007 .
- ^ ИегудаКорен (18 декабря 2007 г.). "Насколько полезен более низкий RMSE?" . Форум премии Netflix . Архивировано из оригинала на 2012-03-03.
- ^ «Часто задаваемые вопросы о премии Netflix» . Архивировано из оригинала на 2007-08-21 . Проверено 21 августа 2007 .
- ^ «Рейтинг призов Netflix» . Взлом NetFlix . 9 октября 2006 . Проверено 21 августа 2007 .
- ^ «Приз Netflix (я пытался сопротивляться, но ...)» . Журнал Юхо Снельмана . 15 октября 2006 . Проверено 21 августа 2007 .
- ^ «Лучшие претенденты на чарт« Премия Прогресс 2007 »» .
- ^ «Кубок и мастерская KDD 2007» .
- ^ Приземастер (13.11.2007). «Приз Netflix Progress Prize 2007 присужден команде KorBell» . Форум премии Netflix . Архивировано из оригинала на 2012-03-03.
- ^ «Приз за прогресс в размере 50 000 долларов США присужден в первую годовщину получения приза Netflix в размере 1 миллиона долларов» .
- ^ Р. Белл; Ю. Корен; К. Волинский (2007). «Решение BellKor для получения премии Netflix» (PDF) .
- ^ Роберт Белл; Иегуда Корен; Крис Волинский (10 декабря 2008 г.). «Решение BellKor 2008 для получения премии Netflix» (PDF) . Форум премии Netflix .
- ^ «Netflix награждает призом за прогресс в размере 50 000 долларов за второй год многолетнего многонационального конкурса Netflix Prize» . Архивировано из оригинала на 2009-06-30 . Проверено 22 июня 2009 .
- ^ А. Тёшер; М. Ярер (2008). «Решение BigChaos для конкурса Netflix Prize 2008» (PDF) .
- ^ Р. Белл; Ю. Корен; К. Волинский (2008). «Решение BellKor для конкурса Netflix Prize 2008» (PDF) .
- ^ «Прагматический хаос BellKor» . 2009-06-26.
- ^ «Ансамбль» . 2009-07-25.
- ^ а б «Таблица лидеров приза Netflix» . 2009-07-26. Архивировано из оригинала на 2013-12-13 . Проверено 9 декабря 2013 .
- ^ «Конкурс закрыт» . 2009-07-26. Архивировано из оригинала на 2009-07-28 . Проверено 27 июля 2009 .
- ^ «Приз Netflix - это громкая победа, гвоздь окончена» . 2009-07-26.
- ^ «Главный приз присужден команде BellKor's Pragmatic Chaos» . Форум премии Netflix. 2009-09-21. Архивировано из оригинала на 2012-05-07.
- ^ Стив Лор (21 сентября 2009 г.). «Сделка на исследование для Netflix на 1 миллион долларов и, возможно, модель для других» . Нью-Йорк Таймс .
- ^ «Netflix награждает приз Netflix на 1 миллион долларов и объявляет о втором конкурсе на 1 миллион долларов» . Архивировано из оригинала на 2009-09-25 . Проверено 24 сентября 2009 .
- ^ Андреас Тёшер и Майкл Ярер (21 сентября 2009 г.). «Решение BigChaos для главного приза Netflix» . commendo.
- ^ «Обновление приза Netflix» . Форум премии Netflix. 12 марта 2010 г.
- ^ Нараянан, Арвинд; Шматиков, Виталий (2006). «Как нарушить анонимность набора данных Netflix Prize». arXiv : cs / 0610105 .
- ^ Демерджян, Дэйв (15 марта 2007 г.). «Восстание хакеров Netflix» . wired.com . Проводной . Проверено 13 декабря 2014 .
- ^ Сингел, Райан. «Netflix раскрыл секрет вашей горбатой горы, исковые требования» . Проверено 11 августа 2017 года .
Внешние ссылки
- Официальный веб-сайт
- Приз Netflix на RecSysWiki
- Кейт Грин (2006-10-06). «Задача Netflix на 1 миллион долларов» . Обзор технологий .
- Роберт М. Белл; Джим Беннетт; Иегуда Корен и Крис Волински (май 2009 г.). «Премия за программирование в миллион долларов» . IEEE Spectrum . Архивировано из оригинала на 2009-05-11 . Проверено 8 мая 2009 .
- Надежная деанонимизация больших разреженных наборов данных Арвинд Нараянан и Виталий Шматиков
- Роберт М. Белл, Иегуда Корен и Крис Волински (2010), «Теперь все вместе: взгляд на приз NETFLIX», Chance , 23 (1): 24, doi : 10.1007 / s00144-010-0005-2
- Андрей Фейервергер; Ю Хе и Шаши Хатри (2012), «Статистическая значимость задачи Netflix», Статистическая наука , 27 (2): 202–231, arXiv : 1207.5649 , doi : 10.1214 / 11-STS368 , S2CID 43556443
- Приз Netflix в 1 миллион долларов - Netflix никогда не использовал свой алгоритм в 1 миллион долларов из-за инженерных затрат (2009 г.) - Saint
[1]