GPQA Diamond

Qwen3.8-27B-pi демонстрирует прирост точности на GPQA Diamond до 86.4%

Релиз дообученной версии модели Qwen3.8-27B-pi, оптимизированной для агентской среды Pi, привел к улучшению показателей на бенчмарке научных вопросов GPQA Diamond. В отличие от базовой модели, новая версия обеспечивает последовательный рост затрат вычислительных ресурсов в зависимости от выбранного уровня усилий, устраняя аномалии неэффективности. Это делает использование ИИ-агентов более предсказуемым и экономичным для задач научного анализа.

Событие: На бенчмарке GPQA Diamond модель Qwen3.8-27B-pi на уровне усилий xhigh показала результат 86.4%, что выше показателя базовой версии (80.9%).

Эффект: Применение механизма сравнения затрат между уровнями усилий в RL-обучении позволило устранить проблему, при которой «дешевый» режим расходовал больше ресурсов, чем «дорогой».

Подробнее →

GPQA Diamond выявляет отставание диффузионных моделей в логических задачах

Исследование: На бенчмарке GPQA Diamond диффузионная модель Google Gemini Diffusion набрала 40,4%, что ниже показателя авто регрессивного конкурента в 56,5%.

Эффект: Результаты на GPQA Diamond подтверждают, что для многоступенчатого логического вывода последовательный подход пока остается более эффективным.

Фактор: Сложность логического вывода указана как одно из ключевых слабых мест диффузионных языковых моделей по сравнению с традиционными архитектурами.

Подробнее →

Qwen3-Max-Thinking достигает 90.3 балла в тесте GPQA Diamond

В тесте GPQA Diamond модель Qwen3-Max-Thinking набрала 90.3 балла, что подтверждает её способность решать сложные задачи на уровне международных стандартов. Этот результат демонстрирует высокую точность и глубину знаний модели в научных и технических областях. Применение технологии Test-Time Scaling позволило дополнительно повысить показатель до 92.8. GPQA Diamond оценивает способность ИИ-моделей к логическим рассуждениям и использованию внешних данных, что делает этот тест ключевым для оценки технической зрелости модели.

Подробнее →