Оценка моделей ИИ
Оценка моделей ИИ в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Яндекс и ШАД представили MTGBench для оценки рассуждений нейросетей на игровых сценариях
Инженеры Яндекса совместно со студентами Школы анализа данных открыли доступ к бенчмарку MTGBench, который оценивает способность моделей ИИ логически рассуждать в многоэтапных задачах. Инструмент использует семь текстовых игр для проверки последовательности действий и учета меняющихся условий, а статья о нем принята на конференцию EMNLP 2026. Тестирование 16 нейросетей показало, что эффективность режимов рассуждений зависит от типа задачи, а результаты нестабильны при смене характера испытаний.
Событие: Бенчмарк MTGBench опубликован в открытом доступе на GitHub, а соответствующая научная статья принята к публикации на конференции EMNLP 2026.
Исследование: Эксперимент с участием 16 моделей выявил, что нейросети демонстрируют более высокие результаты в алгоритмических задачах (работа с буквами и символами), чем в заданиях на семантический анализ контекста.
Фактор: Задания на русском языке модели решают хуже, чем на английском, при этом люди-участники эксперимента успешно справились с русскоязычными играми.
Инсайт: Высокий балл в одном типе испытаний не гарантирует успеха в другом, что указывает на необходимость оценки специализации моделей под конкретные бизнес-задачи, а не по общему среднему показателю.
В нашей базе собрано 1 событие по теме «Оценка моделей ИИ». Мы показываем все из них.