Яндекс и ШАД открыли MTGBench — инструмент для проверки логики нейросетей в играх
Яндекс и ШАД открыли доступ к MTGBench — бенчмарку, который проверяет логику нейросетей через текстовые игры вроде «Поля чудес». Инструмент позволяет бизнесу выбирать модели ИИ по качеству многошаговых рассуждений, а не только по точности финального ответа.
Инженеры Яндекса совместно со студентами Школы анализа данных (ШАД) выложили в открытый доступ MTGBench — набор тестов для проверки качества работы нейросетей. Инструмент оценивает способность моделей логически рассуждать при решении сложных многоэтапных задач, а не просто генерировать конечный ответ. Статья о бенчмарке принята на научную конференцию EMNLP (Empirical Methods in Natural Language Processing) 2026.
Разработчики создали инструмент для точного подбора моделей под конкретные бизнес-задачи, где критична последовательность действий и учет меняющихся условий.
Как устроен тест: игры вместо абстрактных задач
В основе MTGBench лежат семь текстовых игр, состоящих из десятков шагов. Среди них — «Поле чудес», «Данетки», «Элиас» и Wordle. Подобный формат выбран не случайно: в играх каждый следующий ход зависит от предыдущих, а игрок часто уточняет вводные данные (например, добавляет новые подсказки или ограничители).
Нейросеть должна учитывать всю историю диалога, использовать новую информацию и не противоречить собственным прежним выводам. В четырех играх правильность решений проверяют алгоритмы, в остальных — ИИ-судья, чью работу дополнительно верифицировали люди. Все задания доступны на русском и английском языках.
Результаты тестирования 16 моделей
Исследователи проверили на MTGBench 16 нейросетей: от компактной версии Qwen до крупных моделей Gemini и GPT. Эксперимент выявил несколько важных закономерностей:
- Зависимость от типа задачи. Режим рассуждений (reasoning) показывает максимальную эффективность в задачах на работу с буквами, символами и исключение неверных вариантов. В заданиях на извлечение знаний или понимание смысла прирост качества оказался менее заметным и сильно зависел от конкретной модели.
- Нестабильность результатов. Высокий балл в одном типе испытаний не гарантировал успеха в другом. Лидеры менялись в зависимости от характера задачи.
- Разрыв между языками. Задания на русском языке модели решали хуже, чем на английском. При этом люди-участники эксперимента хорошо справились с русскоязычными буквенными играми, тогда как самые сильные нейросети с включенным режимом рассуждений показали более высокие средние баллы во всех семи категориях тестов.
Тестирование на игровых сценариях выявило, что текущие модели лучше справляются с алгоритмическим поиском ответа (буквы, символы), чем с семантическим анализом контекста. Это указывает на необходимость специализированных подходов для задач, требующих глубокого понимания смысла, а не только логических выкладок.
Практическое применение
MTGBench доступен на GitHub. Разработчики и исследователи могут использовать этот набор для сравнения моделей перед внедрением в продукты. Инструмент позволяет оценить не только точность финального ответа, но и эффективность использования ресурсов: за сколько шагов модель пришла к решению и насколько ее рассуждения были последовательными.
Для бизнеса это означает возможность более объективного выбора ИИ-решения под задачи, где важна многошаговая логика (например, техподдержка или планирование), а не только генерация текста.
Подтверждение: yandex.ru
