Qwen3.8-27B-pi исправил парадокс затрат: средний режим теперь дешевле и точнее
Qwen3.8-27B-pi исправляет аномалию базовой модели, где «быстрый» режим анализа кода требовал на 50% больше вычислений, чем средний. Теперь затраты на токены растут логично: уровень medium решает задачи так же точно, как и максимальный, но экономит 41% ресурсов.
Qwen3.8-27B-pi — это дообученная версия модели Qwen3.8-27B, оптимизированная для работы в агентской среде Pi. Ключевая особенность релиза — восстановление «порядка усилий»: теперь модель с низким уровнем рассуждений (low) действительно тратит меньше вычислительных ресурсов, чем среднее (medium), а не наоборот. Это делает использование ИИ-агентов для кодинга более предсказуемым и экономичным по токенам.
Проблема базовой модели: парадокс затрат
В исходной версии Qwen3.8-27B обнаружилась странная особенность: при установке низкого уровня рассуждений (low) модель тратила на анализ кода больше ресурсов, чем при среднем уровне (medium). При этом результат был хуже или сопоставим. По сути, пользователь платил за «быстрый» режим больше, чем за «средний», получая меньше пользы.
- Нарушение логики: На бенчмарке Terminal-Bench 2.1 уровень low использовал в 1.5 раза больше токенов рассуждений, чем medium, но проходил меньше задач.
- Неэффективность: Модель не просто медлительна на низком уровне — она «застревает» в лишних циклах размышлений, которые не приводят к решению.
Разработчик решил исправить это через двухэтапный процесс обучения: сначала Supervised Fine-Tuning (SFT) для закрепления правильных сценариев работы, затем Reinforcement Learning (RL) для строгого контроля затрат.
Как работает новый механизм «порядка усилий»
Вместо того чтобы просто ограничивать количество токенов, новая система учитывает успешность решения. Алгоритм работает по принципу: если задача решена на высоком уровне усилий (xhigh), то решение той же задачи на низком уровне (low) не должно требовать больше ресурсов, чем «эталонный» высокий уровень.
Смена логики вознаграждения в RL с простой оценки успеха на сравнение затрат между уровнями усилий позволяет устранить аномалии, когда «дешевый» режим становится дороже «дорогого». Это критически важно для масштабирования агентных систем, где стоимость инференса напрямую зависит от количества потраченных токенов.
Ключевые изменения в поведении модели:
- Логичная градация: Теперь затраты растут последовательно: low < medium < xhigh.
- Экономия на средних уровнях: На бенчмарке Terminal-Bench 2.1 уровень medium в новой версии решает столько же задач, что и xhigh в базовой модели, но тратит на 41% меньше выходных токенов.
- Снижение «зацикливания»: Модель перестает бесконечно повторять неудачные шаги. Если задача не решается, агент быстрее меняет тактику или останавливается, экономя время и ресурсы.
Практические результаты и форматы выпуска
Тестирование проводилось на трех ключевых бенчмарках: Terminal-Bench 2.1 (работа в терминале), GPQA Diamond (научные вопросы) и SciCode (научное кодирование).
| Бенчмарк | Уровень усилий | Результат Base | Результат Pi (новая версия) | Эффект |
|---|---|---|---|---|
| Terminal-Bench 2.1 | Medium | 69.7% | 75.3% | Рост точности, -41% токенов по сравнению с xhigh Base |
| GPQA Diamond | Xhigh | 80.9% | 86.4% | Лучший результат среди всех версий |
| SciCode | Xhigh | 45.4% | 48.4% | +23% экономия токенов при росте точности |
Модель доступна в форматах BF16, FP8 (размер ~30.4 ГБ) и 17 вариантах GGUF (от 9 до 29 ГБ). Квантование выполнено с калибровкой на реальных агентных сессиях, что сохраняет качество работы инструментов даже в компактных версиях для локального запуска.
Операционные последствия для разработчиков
- Предсказуемость затрат: Инженерам больше не нужно гадать, какой уровень усилий выбрать. Теперь low — это действительно бюджетный вариант для простых задач, а xhigh — для сложного анализа. Это упрощает настройку пайплайнов CI/CD с ИИ-агентами.
- Ограничения локального запуска: Для версий GGUF ниже 4 бит (IQ2_XS и др.) наблюдается рост переплексии до 15%. Хотя агентные тесты показывают приемлемую работоспособность, для критичных задач рекомендуется использовать версии Q4_K_S или выше, где потеря качества минимальна (<1%).
- Зависимость от верификаторов: Качество обучения RL сильно зависит от точности проверок (верификаторов) в задачах. Автор отмечает, что без качественных тестов модель может «выучить» обходные пути вместо реального решения. Это сигнал для команд, разрабатывающих собственные RL-пайплайны: инвестирование в качество тестов важнее увеличения вычислительных мощностей.
Отсутствие изолированного анализа влияния каждого этапа (SFT vs RL) на итоговый результат затрудняет перенос рецепта на другие модели. Однако сам подход к формированию вознаграждения — сравнение успешных попыток между уровнями усилий — является универсальным и может применяться в других агентных задачах, где важна экономия ресурсов.
