Pollen Robotics представила Grabette — сбор данных для роботов без дорогих лабораторий

Компания Pollen Robotics представила Grabette — открытую систему для записи данных о манипуляциях, которая устраняет главную проблему робототехники: дефицит реальных данных для обучения. Вместо того чтобы использовать дорогие роботы-манипуляторы и сложные телеуправления, система позволяет записывать действия обычной человеческой рукой с помощью недорогого устройства. Это снижает порог входа для сбора данных и открывает путь к созданию глобального открытого датасета силами сообщества.

Важный нюанс: Проблема развития робототехники смещается с вычислительных мощностей и архитектуры моделей на доступность качественных данных для обучения.

Как работает система записи

Суть решения заключается в замене робота-исполнителя на человека-демонстратора. Устройство Grabette представляет собой ручной захват с камерами и датчиками, который фиксирует траекторию движения руки в пространстве. Записанные данные автоматически преобразуются в формат, понятный роботам, без необходимости владеть сложным оборудованием.

Устройство состоит из двух основных компонентов, выполняющих разные задачи:

• Широкоугольная камера (fisheye): Записывает контекст задачи, предоставляя роботу вид «от первого лица», необходимый для принятия решений.
• Камера глубины (RGBD): Отвечает за точное отслеживание движения в шести степенях свободы (6-DoF), обеспечивая высокую точность траектории.

Для обработки данных используется облачный сервис на базе Hugging Face Space. Пользователь загружает записанные эпизоды, система выполняет построение карты (SLAM) с помощью библиотеки RTAB-MAP, проверяет корректность траектории и конвертирует результат в стандартный формат LeRobot. Весь процесс происходит в браузере, установка дополнительного ПО не требуется.

Экономическая эффективность и открытость

Ключевое преимущество проекта — доступность компонентов. Устройство собирается из стандартных деталей, которые можно заказать в обычных магазинах электроники, что исключает зависимость от закрытых поставщиков.

Сравнение стоимости компонентов (BOM):

• Grabette (ручное устройство для записи): около 490 евро.
• Gripette (моторизированный захват для робота): около 120 евро.

Система спроектирована как робот-агностичная: формат данных не привязан к конкретной модели манипулятора. Это означает, что один и тот же набор данных можно использовать для обучения разных роботов и различных алгоритмов. Единственным условием для выполнения задачи роботом является наличие совместимого захвата Gripette на конце манипулятора.

Стоит учесть: Переход на сбор данных «в дикой природе» человеком позволяет масштабировать процесс обучения, делая его независимым от количества доступных роботизированных ячеек.

Практическое применение и результаты

Для демонстрации полного цикла от записи до обучения разработчики провели эксперимент. Было записано 200 демонстраций различных задач. На основе этих данных была обучена политика на базе архитектуры Diffusion Policy (с использованием ResNet18 и пространственного кодирования Softmax). Обучение прошло на одном потребительском графическом ускорителе.

Результат был протестирован на роботизированной руке OpenArm с 7 степенями свободы, оснащенной захватом Gripette. Робот успешно выполнил задачи, используя модель, обученную на данных, записанных с помощью ручного устройства.

В будущем проект планирует расширить линейку устройств, включая Casquette — головной гарнитурный модуль для записи с точки зрения человека (egocentric capture), который находится в стадии разработки.

Операционные последствия и тренды

• Снижение барьера входа: Компании и исследователи больше не обязаны закупать дорогостоящие роботизированные ячейки для сбора обучающих выборок. Достаточно собрать один ручной модуль за несколько сотен евро.
• Изменение модели сотрудничества: Формирование датасетов переходит от закрытых лабораторий к открытому сообществу. Каждый пользователь может записать свою задачу и добавить её в общий пул данных на Hugging Face Hub.
• Техническая зависимость: Несмотря на открытость, для практического применения обученных моделей на физическом роботе потребуется наличие совместимого захвата Gripette, что создает определенную зависимость от экосистемы разработчика.
• Упрощение инфраструктуры: Отказ от сложных систем телеуправления и лабораторных стендов снижает логистические издержки и время на подготовку данных, ускоряя итерации в разработке ИИ для роботов.

На фоне этого: Развитие робототехники в ближайшие годы будет зависеть не столько от создания новых алгоритмов, сколько от способности сообществ генерировать и обмениваться качественными данными о взаимодействии с реальным миром.