Terminal-Bench 2.1

Terminal-Bench 2.1 фиксирует аномалию базовой модели Qwen3.8-27B, где режим low потребляет на 50% больше токенов, чем medium, при худших результатах

Бенчмарк Terminal-Bench 2.1 выступил ключевым инструментом верификации для выявления дисфункции в базовой версии Qwen3.8-27B. Тестирование показало, что установка низкого уровня рассуждений приводит к избыточным циклам анализа и перерасходу вычислительных ресурсов по сравнению со средним уровнем. Это нарушение логики затрат сделало использование ИИ-агентов в терминале неэффективным и непредсказуемым с точки зрения стоимости инференса. Разработчики использовали данные этого бенчмарка как основу для корректировки алгоритма вознаграждения при дообучении, чтобы обеспечить строгую последовательность роста затрат в зависимости от сложности задачи.

Событие: На Terminal-Bench 2.1 зафиксировано, что уровень low базовой модели расходует в 1.5 раза больше токенов рассуждений, чем medium, при этом решая меньшее количество задач.

Фактор: Результаты бенчмарка выявили механизм «зацикливания», при котором модель тратит ресурсы на лишние размышления без достижения решения, что потребовало внедрения сравнительного контроля затрат в RL-этапе обучения.

Эффект: После оптимизации через Terminal-Bench 2.1 уровень medium новой версии модели решает аналогичное количество задач, что и xhigh базовой версии, но с экономией выходных токенов на 41%.

Подробнее →