Olmo 3.1 7B Think

Olmo 3.1 7B Think показала минимальный прирост логики без специализированных данных

Суть: Модель Olmo 3.1 7B Think выступила контрольной версией для оценки влияния логических задач на обучение нейросети. Она была обучена тем же количеством шагов, что и версия с логикой, но без добавления специализированных данных.

Событие: В ходе тестирования Olmo 3.1 7B Think продемонстрировала точность 15.7% на бенчмарке SLR-Bench и 59.1% по среднему показателю логики. Эти результаты практически идентичны базовой версии Olmo-3-7B-Think, что подтверждает неэффективность простого увеличения вычислительных ресурсов без смены типа данных.

Эффект: Использование Olmo 3.1 7B Think в качестве эталона выявило, что дообучение на верифицируемых задачах без логических данных не приводит к значимому улучшению рассуждений. При этом модель показала снижение качества в задачах открытого диалога по сравнению с базовой версией.

Фактор: Сравнение с Olmo 3.1 7B Think позволило изолировать вклад индуктивного логического программирования, показав, что рост точности до 45.1% достигается только при внедрении интерпретатора Prolog. Без этого компонента модель сохраняет исходный уровень логических способностей.

Подробнее →