Неопределённость

Неопределённость как механизм снижения выдумок

Исследование OpenAI показывает, что неопределённость в ответах моделей может служить эффективным способом снизить уровень выдумок. Авторы предлагают изменить систему оценки моделей, чтобы она поощряла неуверенные формулировки вместо угадывания. В текущих системах модели получают максимальный балл за правильный ответ и ноль — за пропуск, что стимулирует угадывание. Новая система начисляла бы штрафные баллы за ошибки и частичные баллы за выражение неуверенности. Это изменение направлено на устранение мотивации модели выдумывать информацию.

Подробнее →