Оценивание моделей
Оценивание моделей в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2025
08 сентября
Снижение выдумок за счёт пересмотра системы оценки
Исследование OpenAI показывает, что текущие методы оценки языковых моделей стимулируют их угадывать, а не признавать неуверенность, что приводит к выдумкам. Авторы предлагают изменить систему оценки, вводя штрафы за уверенные ошибки и частичные баллы за выражение неуверенности. Такой подход, по их мнению, поможет снизить число ложных утверждений, так как модели перестанут выигрывать от случайно правильных ответов.
Оценивание моделей имеет 1 запись событий в нашей базе. Объединили похожие карточки: Оценивание моделей; «Оценка моделей в машинном обучении»; «Модельное оценивание» и другие.