Модель мира

Модель мира определяет границы безопасности действий Физического ИИ через риск физических галлюцинаций

В статье Барака Ора подчеркивается, что Модель мира, обучаясь на данных для предсказания изменений среды, не гарантирует физическую корректность сценариев, что создает угрозу для реальных роботов. В отличие от симуляторов, работающих по жестким правилам, Модель мира может генерировать правдоподобные, но невозможные в реальности действия, ведущие к авариям. Это требует пересмотра подходов к верификации, где критическим становится не точность предсказания, а способность системы отказаться от выполнения опасного действия.

Риск: Использование Модели мира вместо симуляторов несет угрозу «галлюцинаций» в физике, когда система уверенно предсказывает успешное действие, которое в реальности приведет к столкновению из-за неучтенных свойств среды.

Связь: Ошибка в классификации Модели мира напрямую меняет подход к сбору данных и тестированию, определяя, останется ли система лабораторным экспериментом или сможет безопасно работать в реальности.

Фактор: Визуальная реалистичность предсказания Модели мира не является индикатором безопасности, так как система может «видеть» будущее верно, но предлагать действия, приводящие к травме.

Тренд: Развитие отрасли движется к созданию механизмов, позволяющих Модели мира оценивать надежность собственных решений и отказываться от выполнения задач при неуверенности в безопасности.

Подробнее →