Тестирование нейросетей

Тестирование нейросетей через игровые сценарии получило новый открытый инструмент MTGBench от Яндекса и ШАД

Инженеры Яндекса совместно со студентами Школы анализа данных опубликовали бенчмарк MTGBench, который проверяет способность моделей логически рассуждать в многоэтапных задачах с меняющимися условиями. Инструмент использует семь текстовых игр на русском и английском языках для оценки не только финального ответа, но и последовательности действий модели. Статья о разработке принята на конференцию EMNLP 2026, а сам набор тестов доступен на GitHub для сравнения моделей перед внедрением в бизнес-процессы.

Событие: В открытый доступ выложен MTGBench — набор из семи текстовых игр для проверки качества рассуждений нейросетей, статья о котором принята на EMNLP 2026.

Исследование: Проверка 16 моделей выявила, что режим рассуждений эффективен в задачах с буквами и символами, но слабо влияет на извлечение знаний, при этом лидеры меняются в зависимости от типа испытания.

Эффект: Модели демонстрируют более низкие результаты на русскоязычных заданиях по сравнению с английскими, хотя люди-участники хорошо справлялись с русскоязычными играми.

Инсайт: Текущие нейросети лучше выполняют алгоритмический поиск ответа, чем семантический анализ контекста, что требует разработки специализированных подходов для задач глубокого понимания смысла.

Подробнее →