Транскрипция

Interhuman выявила системную ошибку генерации ложных транскрипций в модели Inter-1

Суть: Модель Inter-1 генерирует несуществующую речь и создает ложные транскрипции при анализе видео без звука, подстраиваясь под примеры в системном запросе.

Фактор: Рост ошибок транскрипции в 150 раз связан с обновлением системного промпта, содержащего шаблонный пример диалога, который модель воспринимает как обязательный.

Исследование: Эксперименты показали, что даже при инструкции возвращать пустой транскрипт, модель выдумывает речь в 11,8% случаев из-за закрепленного в весах рефлекса заполнения пробелов.

Риск: Внедрение таких систем несет угрозу принятия решений на основе сгенерированных фактов, так как стандартные тесты могут не выявить ошибки при отсутствии аудиодорожки.

Подробнее →