NVIDIA и Hugging Face объединили инструменты для роботов в LeRobot

Компании NVIDIA и Hugging Face интегрировали ключевые инструменты для создания человекоподобных роботов в открытую библиотеку LeRobot. В доступ разработчиков поступили модель NVIDIA Isaac GR00T 1.7 и фреймворк Isaac Teleop, а в ближайшее время ожидается добавление модели NVIDIA Cosmos 3. Это решение объединяет 3 миллиона разработчиков роботов и 16 миллионов специалистов по искусственному интеллекту, предоставляя им единый стандарт для сбора данных, обучения и развертывания моделей.

Важный нюанс: Объединение экосистем позволяет сократить путь от лабораторного эксперимента до промышленного внедрения, устраняя необходимость в создании собственных инструментов для каждого этапа.

Новые инструменты для сбора данных и обучения

Интеграция направлена на упрощение создания «физического ИИ» — систем, способных взаимодействовать с реальным миром. Разработчики получают доступ к готовым решениям для работы с данными и моделями:

• NVIDIA Isaac Teleop: Фреймворк для сбора данных, позволяющий записывать действия человека с внешних устройств в стандартном формате. Это упрощает создание обучающих наборов данных и их обмен внутри сообщества.
• NVIDIA Isaac GR00T 1.7: Первая открытая и коммерчески жизнеспособная базовая модель для роботов. Она поддерживает дообучение и адаптацию под конкретные задачи и типы роботов с проверенной производительностью.
• NVIDIA Cosmos 3: Модель, планируемая к выпуску в LeRobot, предназначена для генерации и дополнения данных, а также симуляции сценариев, когда сбор реальной информации слишком дорог или сложен.

Эти инструменты работают в связке с уже существующими ресурсами NVIDIA в библиотеке. В частности, доступен крупнейший открытый набор данных по физическому ИИ, скачанный более 15 миллионов раз. Он содержит 350 000 траекторий (реальных и симулированных) и 57 миллионов примеров захвата объектов.

Стоит учесть: Модель Cosmos 3 станет критически важной для ситуаций, где реальные данные недоступны, позволяя создавать синтетические сценарии для обучения без риска повреждения оборудования.

Среда симуляции и развертывание

Для тестирования и отладки алгоритмов перед запуском на реальном «железе» в LeRobot интегрированы фреймворки симуляции Isaac Sim и Isaac Lab. Разработчики могут настраивать виртуальные среды, генерировать данные и проверять поведение роботов.

Отдельно выделен инструмент Isaac Lab-Arena в репозитории сред LeRobot Environment Hub. Он позволяет быстро прототипировать сложные симуляции и использовать их для обучения универсальных политик, таких как GR00T, Pi и SmolVLA.

Для практического применения моделей на физических устройствах реализована интеграция платформы NVIDIA Jetson Thor с открытым человекоподобным роботом Reachy 2. Это дает возможность запускать модели визуального языка и действий (VLA) непосредственно на борту робота.

На фоне этого: Доступ к готовым симуляторам и данным снижает порог входа для стартапов, которым ранее требовались огромные бюджеты на создание собственных полигонов для тестирования.

Операционные последствия и практические аспекты

Условия для внедрения

• Стандартизация данных: Эффективность работы с новыми моделями зависит от использования унифицированных форматов, которые обеспечивает Isaac Teleop. Без этого интеграция разрозненных наборов данных будет затруднена.
• Зависимость от вычислительных мощностей: Обучение и дообучение моделей типа GR00T 1.7 требуют значительных ресурсов, доступ к которым упрощается через экосистему NVIDIA, но требует наличия соответствующего оборудования или облачных мощностей.

Тренды и риски

• Сдвиг к синтетическим данным: Появление Cosmos 3 указывает на переход отрасли от сбора реальных данных к генерации синтетических сценариев, что может снизить затраты на сбор информации, но потребует валидации качества генерации.
• Консолидация инструментов: Объединение библиотек Hugging Face и NVIDIA создает риск зависимости от единой экосистемы, однако для большинства разработчиков это упрощает процесс разработки за счет снижения количества используемых инструментов.