OlmoLogic 7b Think

OlmoLogic 7b Think демонстрирует трехкратный рост точности на тестах по логическому мышлению

Суть: Модель OlmoLogic 7b Think достигла точности 45.1% на тесте SLR-Bench благодаря внедрению задач индуктивного логического программирования и использованию интерпретатора Prolog для верификации гипотез.

Исследование: Обучение проводилось на кластере из 56 видеокарт H100 в течение 6 дней с применением жесткого порога качества, при котором награда обнуляется при точности правила ниже 50%.

Эффект: При значительном улучшении логических и математических показателей модель OlmoLogic 7b Think потеряла 7.6 пункта в метрике качества свободного диалога по сравнению с контрольной версией.

Риск: Применение подхода требует высокой вычислительной мощности и может быть неэффективным для задач, где невозможно формализовать четкие правила, например, в творческом письме.

Инсайт: Использование исполняемого кода вместо языковых моделей для оценки ответов устраняет риск подтасовки наград и смещает фокус обучения с предсказания текста на построение верных логических цепочек.

Подробнее →