Факторизация матрицы (рекомендательные системы)

Факторизация матрицы - это класс алгоритмов совместной фильтрации , используемых в рекомендательных системах . Алгоритмы матричной факторизации работают путем разложения матрицы взаимодействия пользователя с элементом на произведение двух прямоугольных матриц меньшей размерности. ^[1] Это семейство методов стало широко известно во время конкурса Netflix за свою эффективность, о чем сообщил Саймон Фанк в своем блоге 2006 года ^[2], где он поделился своими выводами с исследовательским сообществом. Результаты прогнозирования можно улучшить, присвоив скрытым факторам различные веса регуляризации в зависимости от популярности элементов и активности пользователей. ^[3]

Методы [ править ]

Идея матричной факторизации состоит в том, чтобы представить пользователей и элементы в скрытом пространстве более низкой размерности. Со времени первой работы Функ в 2006 году было предложено множество подходов к матричной факторизации для рекомендательных систем. Некоторые из наиболее часто используемых и простых из них перечислены в следующих разделах.

Funk MF [ править ]

Первоначальный алгоритм, предложенный Саймоном Функом в его сообщении в блоге ^[2], факторизовал матрицу рейтинга пользователь-элемент как произведение двух матриц меньшей размерности, в первой из которых есть строка для каждого пользователя, а во второй - столбец для каждого элемента. Строка или столбец, связанные с конкретным пользователем или элементом, называются скрытыми факторами . ^[4] Обратите внимание, что в Funk MF не применяется декомпозиция по сингулярным значениям , это SVD-подобная модель машинного обучения. ^[2] Прогнозируемые рейтинги могут быть вычислены как , где - матрица рейтингов пользовательских элементов, содержащая скрытые факторы пользователя и скрытые факторы элемента.${\ displaystyle {\ tilde {R}} = HW}$${\ displaystyle {\ tilde {R}} \ in \ mathbb {R} ^ {users \ times items}}$${\ displaystyle H \ in \ mathbb {R} ^ {users \ times latentfactors}}$${\displaystyle W\in \mathbb {R} ^{latentfactors\times items}}$

В частности, прогнозируемая оценка, которую пользователь u поставит элементу i , вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}$

Настроить выразительную силу модели можно, изменив количество скрытых факторов. Было продемонстрировано ^[5], что матричная факторизация с одним скрытым фактором эквивалентна наиболее популярному или популярному рекомендателю (например, рекомендует элементы с наибольшим взаимодействием без какой-либо персонализации). Увеличение количества скрытых факторов улучшит персонализацию и, следовательно, качество рекомендаций, пока количество факторов не станет слишком большим, после чего модель начнет переобучаться, и качество рекомендаций снизится. Распространенная стратегия, позволяющая избежать переобучения, - это добавить к целевой функции условия регуляризации . ^{[6] [7]}Funk MF был разработан как задача прогнозирования рейтингов , поэтому он использует явные числовые рейтинги в качестве взаимодействий между пользователем и элементом.

Учитывая все обстоятельства, Funk MF минимизирует следующую целевую функцию:

${\displaystyle {\underset {H,W}{\operatorname {arg\,min} }}\,\|R-{\tilde {R}}\|_{\rm {F}}+\alpha \|H\|+\beta \|W\|}$

Где определяется как норма фробениуса, тогда как другие нормы могут быть либо фробениусом, либо другой нормой в зависимости от конкретной рекомендующей проблемы. ^[8]${\displaystyle \|.\|_{\rm {F}}}$

SVD ++ [ править ]

Хотя Funk MF может обеспечить очень хорошее качество рекомендаций, его способность использовать только явные числовые рейтинги в качестве взаимодействий между пользователями и элементами представляет собой ограничение. Современные рекомендательные системы должны использовать все доступные взаимодействия, как явные (например, числовые рейтинги), так и неявные (например, лайки, покупки, пропущенные, добавленные в закладки). С этой целью SVD ++ также был разработан с учетом неявных взаимодействий. ^{[9] [10]} По сравнению с Funk MF, SVD ++ также учитывает предвзятость пользователя и элемента.

Прогнозируемая оценка, которую пользователь u поставит элементу i , вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}$

Однако SVD ++ имеет некоторые недостатки, главный недостаток заключается в том, что этот метод не основан на модели. Это означает, что если добавлен новый пользователь, алгоритм не сможет его моделировать, если не будет переобучена вся модель. Несмотря на то, что система, возможно, собрала некоторые взаимодействия для этого нового пользователя, ее скрытые факторы недоступны, и поэтому рекомендации не могут быть рассчитаны. Это пример проблемы с холодным запуском , то есть рекомендатель не может эффективно работать с новыми пользователями или предметами, и для устранения этого недостатка необходимо разработать специальные стратегии. ^[11]

Возможным способом решения этой проблемы холодного запуска является изменение SVD ++, чтобы он стал алгоритмом на основе модели , что позволяет легко управлять новыми элементами и новыми пользователями.

Как упоминалось ранее в SVD ++, у нас нет скрытых факторов новых пользователей, поэтому необходимо представить их по-другому. Скрытые факторы пользователя представляют предпочтение этого пользователя в отношении латентных факторов соответствующего элемента, поэтому латентные факторы пользователя могут быть оценены с помощью прошлых взаимодействий с пользователем. Если система способна собрать некоторые взаимодействия для нового пользователя, можно оценить его скрытые факторы. Обратите внимание, что это не полностью решает проблему холодного старта , поскольку рекомендатель по-прежнему требует некоторых надежных взаимодействий для новых пользователей, но, по крайней мере, нет необходимости каждый раз пересчитывать всю модель. Было продемонстрировано, что эта формулировка почти эквивалентна модели SLIM ^[12], которая представляет собой элемент-элемент рекомендатель на основе модели.

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}{\biggl (}\sum _{j=0}^{nitems}r_{uj}W_{j,f}{\biggr )}W_{f,i}}$

При такой формулировке эквивалентный рекомендательный элемент-элемент был бы таким . Следовательно, матрица подобия симметрична.${\displaystyle {\tilde {R}}=RS=RW^{\rm {T}}W}$

Асимметричный СВД [ править ]

Асимметричный SVD направлен на объединение преимуществ SVD ++, будучи алгоритмом на основе модели, что позволяет рассматривать новых пользователей с несколькими рейтингами без необходимости переобучать всю модель. В отличие от SVD на основе модели здесь матрица скрытых факторов пользователя H заменена на Q, которая изучает предпочтения пользователя в зависимости от их оценок. ^[13]

Прогнозируемая оценка, которую пользователь u поставит элементу i , вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}\sum _{j=0}^{nitems}r_{uj}Q_{j,f}W_{f,i}}$

При такой формулировке эквивалентный рекомендательный элемент-элемент был бы таким . Поскольку матрицы Q и W различны, матрица подобия асимметрична, отсюда и название модели.${\displaystyle {\tilde {R}}=RS=RQ^{\rm {T}}W}$

Групповой SVD [ править ]

Групповой SVD может быть эффективным решением проблемы холодного запуска во многих сценариях. ^[6] Он группирует пользователей и элементы на основе информации о зависимостях и сходства характеристик. Затем, когда появляется новый пользователь или элемент, мы можем присвоить ему метку группы и аппроксимировать его латентный фактор групповыми эффектами (соответствующей группы). Следовательно, хотя рейтинги, связанные с новым пользователем или элементом, не обязательно доступны, групповые эффекты обеспечивают немедленные и эффективные прогнозы.

Прогнозируемая оценка, которую пользователь u поставит элементу i , вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\sum _{f=0}^{nfactors}(H_{u,f}+S_{v_{u},f})(W_{f,i}+T_{f,j_{i}})}$

Здесь и представляют собой метку группы пользователя u и элемента i , соответственно, которые идентичны для всех членов одной группы. А и - матрицы групповых эффектов. Например, для нового пользователя, чей скрытый фактор недоступен, мы можем, по крайней мере, определить его групповой ярлык и спрогнозировать его рейтинги как:${\displaystyle v_{u}}$${\displaystyle j_{i}}$${\displaystyle S}$${\displaystyle T}$${\displaystyle u_{new}}$${\displaystyle H_{u_{new}}}$${\displaystyle v_{u_{new}}}$

${\displaystyle {\tilde {r}}_{u_{new}i}=\sum _{f=0}^{nfactors}S_{v_{u_{new}},f}(W_{f,i}+T_{f,j_{i}})}$

Это дает хорошее приближение к ненаблюдаемым рейтингам.

Гибридный MF [ править ]

В последние годы было разработано множество других моделей матричной факторизации для использования постоянно увеличивающегося количества и разнообразия доступных данных о взаимодействии и сценариев использования. Алгоритмы гибридной матричной факторизации способны объединять явные и неявные взаимодействия ^[14] или как контент, так и совместные данные ^{[15] [16] [17]}

Глубокое обучение MF [ править ]

В последние годы был предложен ряд нейронных методов и методов глубокого обучения, некоторые из которых обобщают традиционные алгоритмы матричной факторизации с помощью нелинейной нейронной архитектуры. ^[18] Хотя глубокое обучение применялось во многих различных сценариях: с учетом контекста, с учетом последовательности, социальных тегов и т. Д., Его реальная эффективность при использовании в простой совместной фильтрациисценарий был поставлен под сомнение. Систематический анализ публикаций, применяющих глубокое обучение или нейронные методы для решения топ-k проблем рекомендаций, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys, IJCAI), показал, что в среднем менее 40% статей воспроизводимы, причем всего 14% на некоторых конференциях. В целом исследования выявили 26 статей, только 12 из них могли быть воспроизведены, а 11 из них могли превзойти более старые и более простые, правильно настроенные исходные данные. В статьях также освещается ряд потенциальных проблем в современной исследовательской науке и содержится призыв к совершенствованию научной практики в этой области. ^[19] Подобные проблемы были замечены и в рекомендательных системах, учитывающих последовательность. ^[20]

См. Также [ править ]

• Совместная фильтрация
• Рекомендательная система

Ссылки [ править ]