Бенчмарки языковых моделей

Бенчмарки языковых моделей фиксируют системный провал LLM в оценке качества корейского языка

Исследование GiniGEN AI на платформе OpenRouter выявило, что стандартные метрики не отражают реальных возможностей моделей при работе с корейским языком. Бенчмарки языковых моделей продемонстрировали, что 33,6% из 425 протестированных систем получают неудовлетворительную оценку, а лишь 8,5% корректно используют формы вежливости. Тестирование показало, что высокая скорость ответа или низкая стоимость токенов не коррелируют с качеством генерации текста, требуя от бизнеса выбора компромисса между параметрами.

Исследование: Бенчмарки языковых моделей охватили 425 моделей на OpenRouter и выявили, что менее 8% систем достигают высшего уровня качества (A+), а треть из них полностью проваливает тесты по семи осям оценки.

Фактор: Бенчмарки языковых моделей подтвердили бесполезность опирания на результаты тестов английского языка, так как свежесть модели не гарантирует точности в корейском языке, где лидирует устаревшая версия gpt-3.5-turbo-16k.

Эффект: Бенчмарки языковых моделей выявили риск генерации фактически неверного текста с идеальной грамматикой, что затрудняет визуальный контроль ошибок в корейском законодательстве и деловой переписке.

Подробнее →