NEO-unify

NEO-unify отказывается от промежуточных энкодеров для прямой работы с пикселями

Компания SenseTime представила архитектуру NEO-unify, которая обрабатывает изображения и текст без использования визуальных энкодеров, обучаясь напрямую на исходных пикселях. Модель объединяет задачи понимания и генерации в едином потоке данных, демонстрируя эффективность, сопоставимую с ведущими решениями рынка, при меньших затратах на обучение. Исходный код уже доступен для сообщества, а разработчики планируют расширить функционал до омнимодального рассуждения.

Событие: Версия модели с 2 миллиардами параметров достигла показателей PSNR 31.56 и SSIM 0.85 на наборе данных MS COCO 2017, что сопоставимо с результатами Flux VAE.

Фактор: Отказ от предобученных энкодеров и использование гибридной структуры MoT позволяют системе самостоятельно формировать представления о мире, упрощая архитектуру и снижая риск искажения деталей.

Эффект: Прямая работа с «сырыми» данными обеспечивает более эффективное использование обучающей выборки, что может снизить затраты на вычислительную инфраструктуру при дообучении.

Риск: Качество входных пикселей и текста становится критическим фактором, так как отсутствие предварительной фильтрации делает модель более уязвимой к шуму и артефактам в исходниках.

Анонс: Разработчики планируют реализовать циклы восприятия и генерации в реальном времени, а также разработать функции пространственного интеллекта и омнимодального рассуждения.

Подробнее →