«Яндекс» улучшил рекомендации на 7% с помощью новой формулы

Исследовательский коллектив «Яндекса» разработал метод, позволяющий повысить точность рекомендательных систем. Новый подход направлен на улучшение способности алгоритмов понимать предпочтения пользователей, что особенно важно при рекомендации товаров, видео, музыки и других контентов. После внедрения дополнительной корректировки в процесс обучения, внутренние тесты показали повышение точности рекомендаций на 7% по ключевым метрикам качества ранжирования.

Как работают рекомендательные системы и их особенности

Рекомендательные системы ежедневно обрабатывают миллионы объектов, включая тексты, изображения, аудио и товары. Это требует значительных вычислительных мощностей. Обучение таких моделей также требует обработки миллионов примеров, что делает процесс ресурсоёмким. Для оптимизации используются различные методы, в том числе sampled softmax, или выборочное сэмплирование.

Суть метода sampled softmax заключается в сравнении действий пользователя — например, добавления товара в корзину (положительный пример) и просмотра без действий (отрицательный пример). Обучение происходит через анализ таких пар. Однако использование только случайно отобранных отрицательных примеров может привести к снижению качества обучения из-за ошибок в расчётах вероятностей.

Улучшение метода с помощью формулы LogQ

Для повышения точности обучения исследователи внедрили формулу LogQ, которая позволяет учитывать различия в том, как положительные и отрицательные примеры попадают в обучающие данные. В стандартных подходах предполагается, что отбор примеров одинаков, что на практике не всегда верно. Это приводит к систематическим искажениям оценок модели.

Новая формула позволяет модели понять, что реальные действия пользователя (положительные примеры) заданы явно, а отрицательные — выбраны случайно. Это уменьшает смещения в оценках, что в свою очередь улучшает точность рекомендаций.

Применение новой формулы в реальности

Метод, разработанный «Яндексом», может быть использован другими компаниями и независимыми разработчиками в различных сферах — от социальных сетей до стриминговых сервисов. Для внедрения новой формулы не требуется изменять архитектуру существующих моделей.

«Яндекс» планирует применять метод в своих сервисах, включая «Маркет», где он поможет повысить качество рекомендаций для пользователей.

Когда алгоритмы учатся лучше: как «Яндекс» переосмыслил логику рекомендаций

Современные рекомендательные системы сталкиваются с парадоксом: чем больше данных, тем сложнее избежать ошибок в обучении. «Яндекс» представил решение, которое позволяет повысить точность рекомендаций на 7%, используя новую формулу LogQ. Этот метод учитывает, что положительные и отрицательные примеры в обучающих данных формируются по-разному, что ранее не учитывалось в стандартных алгоритмах. Это открывает путь к более точному отражению реальных предпочтений пользователей, особенно в таких сервисах, как «Маркет», где качество рекомендаций напрямую влияет на поведение потребителя.

Скрытые механизмы: почему алгоритмам нужна коррекция

Традиционно, в рекомендательных системах положительные действия (например, покупка) интерпретируются как явное предпочтение, а отрицательные — как отсутствие интереса. Однако на практике отрицательные примеры часто формируются случайно, например, из-за нерегулярного поведения пользователя. Новая формула LogQ позволяет модели «понять», что отрицательные примеры не всегда отражают реальные предпочтения. Это снижает искажения в оценках и делает рекомендации более адаптированными к индивидуальным паттернам поведения. В результате алгоритм не просто «угадывает» выбор, а учится его предсказывать более точно.

Системные последствия: как улучшение влияет на бизнес и пользователей

Повышение точности рекомендаций — это не просто технический прогресс, а ключевой фактор конкурентоспособности в цифровой экономике. Для «Яндекса» это означает увеличение вовлечённости пользователей, рост конверсии и улучшение пользовательского опыта. Для других компаний, которые могут внедрить этот метод, это — возможность снизить затраты на вычисления и повысить эффективность маркетинга. В более широком контексте, такой подход способствует развитию отечественных технологий в сфере искусственного интеллекта, укрепляя позиции российских разработчиков на мировом рынке.

Перспективы и уроки для отрасли

• Технологическая независимость: разработка собственных алгоритмов снижает зависимость от иностранных решений, особенно в условиях санкционного давления.
• Совместимость и масштабируемость: метод не требует полной переработки существующих моделей, что делает его легко внедряемым.
• Конкурентное преимущество: повышение точности рекомендаций может стать решающим фактором в борьбе за внимание пользователя в цифровой экосистеме.
• Экономический эффект: даже небольшое увеличение конверсии может привести к заметным финансовым результатам в крупных сервисах.

Разработка «Яндекса» демонстрирует, как внимание к деталям в алгоритмах может привести к значимому улучшению пользовательского опыта. Это не просто шаг вперёд для компании, но и пример того, как отечественные технологии могут конкурировать с мировыми решениями, не прибегая к внешней зависимости.