MTGBench
MTGBench в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Яндекс и ШАД открыли доступ к MTGBench для оценки рассуждений нейросетей
Инженеры Яндекса совместно со студентами Школы анализа данных (ШАД) опубликовали открытый набор тестов MTGBench, который оценивает способность моделей логически рассуждать при решении сложных многоэтапных задач. Инструмент базируется на семи текстовых играх, таких как «Поле чудес» и Wordle, где каждый следующий ход зависит от предыдущих, а модель должна учитывать всю историю диалога. Статья о бенчмарке принята на научную конференцию EMNLP 2026. Разработчики подчеркивают, что MTGBench позволяет не только сравнить точность финального ответа, но и оценить эффективность использования ресурсов, включая количество шагов до решения и последовательность рассуждений. Это дает возможность более объективно выбирать ИИ-решения для бизнес-задач, где критична многошаговая логика, а не просто генерация текста.
Событие: Статья о бенчмарке принята на научную конференцию EMNLP 2026, а сам инструмент стал доступен в открытом доступе на GitHub.
Исследование: Эксперимент с участием 16 нейросетей показал, что режим рассуждений наиболее эффективен в задачах на работу с буквами и символами, тогда как прирост качества в заданиях на понимание смысла оказался менее заметным.
Эффект: Тестирование выявило языковой разрыв: модели решали русскоязычные задания хуже, чем англоязычные, несмотря на то что люди-участники эксперимента хорошо справились с русскими буквенными играми.
Фактор: Высокий балл в одном типе испытаний не гарантировал успеха в другом, так как лидеры менялись в зависимости от характера задачи и типа нейросети.
В нашей базе собрано 1 событие по теме «MTGBench». Мы показываем все из них.