Токенизация снижает эффективность ИИ на малоресурсных языках из-за потери морфологии

Исследование Омара Камали (Omar Kamali) показывает, что текущий механизм токенизации — разбиение текста на фрагменты для обработки нейросетью — является главным барьером для качественной работы больших языковых моделей (LLM) на малоресурсных языках. Даже при наличии чистых данных и правильной архитектуры модель теряет смысл из-за того, как разрезается текст: границы токенов часто нарушают морфологическую структуру слов, заставляя модель тратить вычислительные ресурсы на восстановление смысла вместо решения задачи. Это создает «налог» на языки с малым количеством обучающих данных, который невозможно перекрыть простым увеличением объема информации.

Важный нюанс: Проблема не в нехватке данных или мощности модели, а в том, что входной сигнал искажается еще до попадания в нейросеть, заставляя ИИ «лечить» ошибки разбиения текста за счет своей интеллектуальной емкости.

Как токенизация снижает качество ответов

Токенизация превращает текст в набор чисел, которые модель понимает как атомарные единицы смысла. Если разрез текста попадает на середину значимого морфемы (части слова, несущей грамматический смысл), модель получает бессмысленные фрагменты. Вместо того чтобы сразу понимать слово, ей приходится собирать его из осколков, что приводит к галлюцинациям и потере контекста.

Проблема усугубляется для языков со сложной структурой (аффиксальных), где одно слово может состоять из множества смысловых частей. В таких случаях стандартные токенизаторы, обученные на английском, разбивают слова на случайные куски букв, а не на осмысленные части.

• Потеря морфологии: Модель не видит связи между корнем слова и его окончаниями, что критично для языков вроде марокканского арабского или амазиг.
• Рост нагрузки: Каждое слово требует больше токенов, что сокращает эффективное окно контекста и замедляет генерацию.
• Ошибки на вариациях: Опечатки, отсутствие диакритических знаков или изменение регистра приводят к тому, что модель воспринимает фразу как совершенно иную, не находя пересечений с обученными данными.

Стоит учесть: Для языков с богатым набором форм слова (агглютинативных) плохая токенизация разрушает грамматическую информацию, заставляя модель угадывать смысл, а не извлекать его из структуры.

Почему расширение словаря не решает проблему

Очевидное решение — создание специализированных словарей токенов для каждого языка — на практике не работает в масштабе. Добавление тысяч новых токенов для поддержки 340+ языков приводит к взрывному росту размера модели без гарантии улучшения качества.

Исследование указывает на несколько критических ограничений подхода с кастомными словарями:

1. Разрушение многоязычия: Уникальные словари для каждого языка разрывают общее пространство векторов, делая невозможным перенос знаний между языками.
2. Непрактичность объема: Поддержка 340 языков потребовала бы добавления более 1 миллиона токенов в словарь, что сделало бы модель неэффективной и медленной.
3. Проблема вариативности: Специализированный токенизатор обучается на чистых данных, но в реальности пользователи пишут с ошибками и в разных стилях. Модель не сможет обработать эти отклонения, так как они не были заложены в словарь.

Даже крупные модели, такие как Gemma или Qwen, использующие огромные универсальные словари (до 250 000 токенов), не решают проблему полностью. Их токены часто не несут смысловой нагрузки для конкретных языков, и модель вынуждена компенсировать это в скрытых слоях, тратя ресурсы на декодирование «мусора».

Четыре скрытых «налога» на малоресурсные языки

Малоресурсные языки сталкиваются с кумулятивным эффектом проблем, где каждая ошибка усиливает следующую. Это создает замкнутый круг, из которого нельзя выйти простым добавлением данных.

1. Налог на фертильность: Высокое количество токенов на одно слово сокращает доступное окно контекста и увеличивает вычислительные затраты на внимание.
2. Налог на морфологическую несовместимость: Границы токенов игнорируют структуру языка, заставляя средние слои модели восстанавливать смысл, который должен был быть зафиксирован на входе.
3. Налог на отсутствие восстановления вариаций: Из-за нехватки данных модель не учится связывать опечатки или разные написания одного слова с единым смыслом. Каждая вариация воспринимается как новая, неизвестная последовательность.
4. Налог на перерасход емкости: Ресурсы модели, которые должны идти на логические выводы, тратятся на исправление ошибок токенизации. В результате модель на малоресурсном языке работает «тупее», чем на английском, при том же количестве параметров.

На фоне этого: Увеличение объема данных не компенсирует дефект входного слоя. Чем меньше данных у языка, тем хуже токенизация, и тем больше данных требуется для обучения, что делает задачу невыполнимой при текущем подходе.

Переход к непрерывным представлениям текста

Альтернативой дискретной токенизации может стать подход, используемый в компьютерном зрении. Исследования показывают, что передача текста как изображения (через визуальные энкодеры) работает эффективнее для задач, чувствительных к символам, так как визуальные модели оперируют непрерывным пространством, а не дискретными таблицами.

В непрерывном пространстве небольшое смещение пикселя или изменение формы буквы не меняет смысл целиком, в отличие от токенизации, где одна лишняя буква создает совершенно новый токен. Это позволяет модели быть устойчивой к опечаткам и вариациям написания.

Перспективные направления развития:

• Модели без токенизации: Архитектуры вроде ByT5, работающие на уровне байтов, или концептуальные модели, оперирующие в пространстве смыслов, а не символов.
• Непрерывный пред-токенизатор: Создание слоя между сырым текстом и вниманием модели, который переводит дискретные символы в гладкое пространство, где вариации и морфологические фрагменты сближаются.
• Контрастное обучение: Обучение слоя, который группирует орфографические варианты и морфологические части в близкие регионы пространства до попадания в основную модель.

Операционные последствия и тренды

• Снижение эффективности вычислений: Компании, внедряющие многоязычные модели, сталкиваются с тем, что значительная часть вычислительной мощности тратится на компенсацию ошибок ввода, а не на генерацию ответа. Это требует пересмотра архитектуры для малоресурсных рынков.
• Необходимость перепроектирования ввода: Стандартные методы токенизации (BPE) могут потребовать замены на непрерывные или байтовые подходы для обеспечения базового качества работы на языках с богатой морфологией.
• Риск деградации качества: Без изменений в архитектуре ввода модели будут продолжать демонстрировать низкое качество на малоресурсных языках, независимо от увеличения объема обучающих данных или размера модели.
• Новый вектор исследований: Фокус смещается с сбора данных на разработку методов кодирования текста, устойчивых к вариациям и не зависящих от жесткой дискретизации символов.