Яндекс открыл код YTsaurus Flow для мгновенной обработки больших данных
Яндекс открыл код YTsaurus Flow, который обрабатывает клики и заказы мгновенно, а не партиями с задержкой в часы. Это позволяет бизнесу обновлять рекомендации и выявлять мошенничество в режиме реального времени, ускоряя принятие решений.
Яндекс перевёл технологию YTsaurus Flow в опенсорс. Инструмент позволяет обрабатывать большие потоки информации — клики, лайки, заказы — мгновенно, по мере их поступления. Раньше данные накапливались партиями с задержкой до нескольких часов, теперь система реагирует на изменения интересов пользователей практически без паузы. Это ускоряет работу рекомендательных алгоритмов, антифрод-систем и рекламных сервисов.
Как работает непрерывная обработка данных
Традиционный подход к обработке больших данных напоминает логистику посылок: информацию собирают в «контейнеры» (партии) и отправляют для обработки только после того, как партия заполнится. Из-за этого алгоритмы получают данные с опозданием, что снижает точность рекомендаций или скорость обнаружения мошенничества.
YTsaurus Flow меняет этот процесс:
- Данные поступают в систему поштучно, в момент совершения действия пользователем.
- Задержка обработки сводится к минимуму.
- Каждое событие обрабатывается ровно один раз: система не теряет и не дублирует информацию.
- При сбоях на отдельных серверах нагрузка автоматически перераспределяется между работающими узлами, обеспечивая непрерывность процесса.
Практическое применение в сервисах Яндекса
Технология уже внедрена во внутренних продуктах компании и демонстрирует измеримый эффект:
- Яндекс Маркет: продавцы быстрее получают статистику по спросу и могут оперативно корректировать цены или ассортимент.
- Антифрод-системы: мошеннические действия распознаются в момент совершения, а не через несколько часов после накопления данных.
- Яндекс Реклама: время на подготовку данных для дообучения моделей подбора рекламы сократилось с более чем 10 часов до почти нуля. Сейчас система обрабатывает свыше 100 ГБ данных и миллионы событий каждую секунду.
Переход от пакетной обработки к потоковой снижает латентность систем принятия решений. Для бизнеса это означает возможность реагировать на рыночные изменения в режиме реального времени, а не постфактум.
Доступность для бизнеса
YTsaurus Flow работает в рамках платформы YTsaurus — открытого решения Яндекса для хранения и обработки больших данных, ориентированного на крупные корпоративные задачи. Лицензия Apache 2.0 позволяет компаниям свободно использовать технологию, включая коммерческие проекты.
Для организаций, работающих с большими массивами информации, это открывает возможность:
- Обрабатывать данные не только партиями, но и в потоковом режиме.
- Сочетать накопленную историческую информацию и свежие события в одной системе.
- Ускорить обновление контента на сайтах и в приложениях.
Технология пригодна для любых задач, где критична свежесть данных: от подготовки обучающих выборок для ИИ-моделей до подсчёта просмотров и заказов.
Подтверждение: yandex.ru