Вымышленные истории

Выдумки как результат стимулов к угадыванию

Выдумки в больших языковых моделях возникают, когда модели предпочитают угадывать ответы вместо признания неуверенности. Это связано с текущей системой оценки, которая поощряет точность, даже если ответ не соответствует действительности. Авторы исследования OpenAI отмечают, что модели получают стимул к угадыванию, так как за правильный ответ начисляются баллы, а за пропуск — нет. В результате модели могут выдумывать факты, например, давать ложные даты рождения или названия работ. Решение, предложенное в исследовании, включает изменение системы оценки, где ошибочные уверенные ответы наказываются, а неуверенность — учитывается.

Подробнее →