NVIDIA Cosmos-H-Dreams на RTX PRO 6000 ускоряет обучение хирургических роботов до 160 кадров

NVIDIA представила инструмент Cosmos-H-Dreams, который превращает обучение хирургических роботов из медленного физического процесса в быструю цифровую симуляцию. Система работает в реальном времени, генерируя видео последствий действий робота на основе его движений, что позволяет отрабатывать навыки без риска для пациентов и оборудования. Ключевое достижение — ускорение работы модели до 160 кадров в секунду на одной видеокарте NVIDIA RTX PRO 6000, что делает симуляцию интерактивной для человека или ИИ.

От статичной модели к живому симулятору

Ранее существующие симуляторы были слишком медленными или требовали ручного создания каждой сцены, что не позволяло отрабатывать сложные взаимодействия с тканями. Новая система учится на реальных видеозаписях операций и движениях роботов, самостоятельно моделируя физику: деформацию тканей, работу игл, дым и перекрытие видимости.

Технология построена на двух этапах:

• Учитель: Большая модель Cosmos-H-Surgical-Simulator анализирует тысячи записей операций, включая успешные и ошибочные сценарии (например, падение иглы или неудачный узел). Это важно, чтобы симулятор учил робота не только идеальным движениям, но и тому, как реагировать на ошибки.
• Ученик: На основе знаний «учителя» создается облегченная версия Cosmos-H-Dreams. Она работает по принципу причинно-следственной связи, предсказывая следующий кадр видео на основе текущего положения инструментов.

Важный нюанс: Система специально обучается на ошибках и неудачных попытках, так как для безопасного тестирования алгоритмов критически важно видеть последствия неправильных действий, а не только идеальные сценарии.

Техническая реализация и скорость

Главной проблемой внедрения таких моделей в практику была задержка: стандартные системы генерировали видео со скоростью около 10 кадров в секунду, что недостаточно для управления в реальном времени. Инженеры NVIDIA применили библиотеку FlashDreams для оптимизации вычислений.

Использование технологий потоковой обработки и компиляции моделей позволило достичь скорости ~160 кадров в секунду. Это обеспечивает плавную интерактивность, необходимую для:

• Управления симуляцией с помощью клавиатуры или контроллеров (поддержка Meta⋆ Quest).
• Закрытого цикла, где ИИ-политика принимает решения на основе сгенерированных изображений и сразу видит результат.
• Интеграции с реальными хирургическими платформами, такими как da Vinci Research Kit и Versius (от компании CMR Surgical).

Практическое применение и ограничения

Инструмент предназначен для разработки и тестирования алгоритмов управления роботами, а не для проведения реальных операций или диагностики. Он создает безопасную среду, где можно:

• Генерировать синтетические данные для обучения нейросетей.
• Отрабатывать редкие и опасные сценарии, которые сложно воспроизвести в операционной.
• Тестировать новые стратегии управления без износа дорогостоящего оборудования.

Компания предоставляет полный набор инструментов для адаптации модели под собственные данные, включая инструкции по дообучению и дистилляции. Это позволяет другим разработчикам создавать симуляторы для своих специфических типов роботов и задач.

Стоит учесть: Технология позиционируется как платформа для исследований и разработок. Она не заменяет внутриоперационное оборудование и не используется для прямого управления физическими роботами в момент операции.

Операционные последствия и тренды

• Снижение затрат на обучение: Возможность бесконечного воспроизведения сценариев в симуляции устраняет необходимость в постоянном доступе к физическим роботам-хирургам, которые дороги в обслуживании и требуют стерильных условий.
• Ускорение разработки ПО: Тестирование алгоритмов, которое раньше занимало часы или дни на реальном оборудовании, теперь может проводиться за минуты в цифровом пространстве.
• Новые стандарты безопасности: Появление симуляторов, способных генерировать «краевые случаи» (редкие ошибки), позволит создавать более надежные системы управления, которые заранее обучены реагировать на аварийные ситуации.
• Зависимость от вычислительных мощностей: Высокая производительность системы критически зависит от наличия специализированных видеокарт (например, NVIDIA RTX PRO 6000), что может стать барьером для внедрения в клиниках с ограниченным бюджетом на ИТ-инфраструктуру.