OpenAI убрала задержки в голосовом диалоге и открыла управление компьютером через ChatGPT

Компания OpenAI представила новую систему GPT-Live, которая позволяет искусственному интеллекту слушать и говорить одновременно, имитируя естественный человеческий диалог. Разработчики потратили шесть месяцев на перестройку архитектуры, чтобы убрать искусственные паузы, возникающие при передаче «очереди» между собеседниками. Теперь голосовой ассистент в приложении ChatGPT может управлять компьютером и координировать работу других агентов без прерывания разговора.

Переход от передачи «очередей» к непрерывному потоку данных смещает главную техническую задачу с скорости вычислений на стабильность передачи каждого кадра звука. Любая задержка в сети или процессоре теперь слышна пользователю как пауза, что требует пересмотра подходов к масштабированию инфраструктуры.

От поочередных реплик к непрерывному потоку

Ранее системы голосового ИИ работали по принципу «сначала ты, потом я». Специальный детектор должен был угадать, когда человек закончил говорить, прежде чем передать управление языковой модели. Это создавало риск: если система ошибалась, она либо перебивала пользователя, либо отвечала с заметной задержкой.

Новая архитектура GPT-Live работает в полнодуплексном режиме. Аудиопоток поступает в модель и выходит из неё непрерывно, без разрывов.

• Устранен детектор очереди: Модель сама решает, когда говорить, основываясь на контексте.
• Параллельная работа: Если требуется сложный анализ или использование инструментов, система подключает мощные модели, такие как GPT-5.5, на отдельном асинхронном канале. Это не останавливает голосовой поток.
• Разделение потоков: Медиа-путь (звук) отделен от логики приложения. Медленные запросы к базам данных или внешним сервисам не замедляют разговор.

Техническая реализация скорости

Для обеспечения реакции за доли секунды инженеры переработали три ключевых компонента системы: передачу данных, управление контекстом и запуск сессий.

Оптимизация передачи данныхСистема использует протокол WebRTC, который умеет работать при потере пакетов и нестабильном соединении. Однако стандартный запуск WebRTC требовал слишком много шагов согласования. OpenAI разработала протокол WARP (WebRTC Abridged Roundtrip Protocol), который сократил количество сетевых обменов с шести до одного.

• Предварительная настройка параметров соединения (Instant Connect) позволяет серверу начать работу сразу при получении первого пакета данных.
• Клиенту достаточно отправить один пакет UDP, чтобы начать разговор.

Управление долгой памятьюВ длительных разговорах объем контекста может превысить лимиты модели. Обычно это требует пересчета всей истории, что вызывает паузу. В GPT-Live сжатие контекста происходит незаметно для пользователя:

1. Система запускает новую копию модели с уже сжатым контекстом.
2. Обе копии работают параллельно.
3. Как только новая копия готова, управление передается ей без остановки звука.

Разделение речи на сообщенияХотя разговор идет непрерывно, интерфейс и аналитика требуют четких сообщений. Сервер анализирует поток в реальном времени, определяя, кто говорит.

• Короткие реакции вроде «угу» или «ок» не создаются как отдельные сообщения, чтобы не засорять историю.
• Система ведет два реестра: «спекулятивный» (показывает текущее состояние в приложении) и «авторитетный» (финальная версия для логов и аналитики).

Тестирование и влияние на инфраструктуру

Перед запуском система прошла скрытое тестирование на реальных пользователях. Часть трафика направлялась в новую систему в режиме «только чтение», чтобы не влиять на опыт пользователей, но проверить работу под нагрузкой.

Тесты выявили несколько критических моментов:

• Не только GPU: Ограничивающим фактором стали не видеокарты, а процессоры, обрабатывающие потоки, и сетевые очереди.
• География имеет значение: Расположение серверов напрямую влияет на задержку. Маршрутизация сессий к ближайшим узлам стала обязательным условием.
• Долгая жизнь сессий: Проблемы с памятью и восстановлением состояния проявлялись только в длинных разговорах, что не видно в стандартных нагрузочных тестах.

Масштабирование голосового ИИ требует синхронного роста всех компонентов инфраструктуры. Увеличение мощности вычислительных узлов без соответствующего усиления сетевых шлюзов и процессоров обработки потоков не даст прироста скорости для конечного пользователя.

Практические последствия для бизнеса и разработки

Внедрение GPT-Live меняет требования к разработке голосовых интерфейсов и их интеграции в бизнес-процессы.

• Новые возможности автоматизации: Ассистент теперь может управлять компьютером и другими агентами прямо в диалоге. Это открывает путь к голосовому управлению сложными рабочими процессами без необходимости переключаться на клавиатуру или мышь.
• Требования к сети: Для стабильной работы критически важна низкая задержка (latency) и стабильность соединения. В регионах со слабой инфраструктурой качество диалога может деградировать, несмотря на мощь серверов.
• Смена парадигмы тестирования: Разработчикам больше нельзя полагаться только на тесты коротких запросов. Необходимо моделировать длительные сессии с накоплением контекста и частыми переподключениями, чтобы выявить ошибки в управлении состоянием.
• Доступность через API: Архитектура системы закладывает основу для будущего GPT-Live API, что позволит сторонним разработчикам создавать приложения с похожей скоростью реакции, не разрабатывая сложную инфраструктуру с нуля.

Система уже работает в десктопной версии ChatGPT, обеспечивая управление компьютером и координацию агентов.