Ollama 0.31 ускорил Gemma 4 на 90% для кодинга на Apple Silicon

В обновлении Ollama 0.31 для процессоров Apple Silicon модель Gemma 4 получила ускорение генерации текста почти на 90% благодаря внедрению многозначного предсказания (MTP). Технология работает автоматически: вспомогательная мини-модель предлагает следующие токены, а основная модель проверяет их за один проход, что особенно эффективно для кода с его повторяющимися структурами. Это изменение делает работу программистских агентов значительно отзывчивее без необходимости ручной настройки и без потери качества вывода.

Важный нюанс: Ускорение достигается не за счет изменения архитектуры самой модели, а за счет оптимизации процесса проверки гипотез, что позволяет генерировать несколько токенов по цене одного вычисления.

Механизм работы и адаптация

Система использует три взаимосвязанных изменения: автоматический подбор длины предсказания, оптимизированный цикл работы движка и специализированное ядро для матричных умножений. Ключевая сложность MTP заключается в том, что идеальное количество токенов для предсказания постоянно меняется в зависимости от задачи. Если предсказывать слишком мало, теряется потенциал ускорения; если слишком много — время на проверку ошибочных вариантов съедает выгоду.

Ollama решает эту проблему динамической подстройкой в реальном времени:

• Система отслеживает частоту принятия предложений и время проверки.
• Алгоритм выбирает длину буфера, дающую максимальную скорость в токенах в секунду.
• При падении точности предсказаний система автоматически возвращается к стандартной генерации по одному токену, чтобы не замедлять работу.

Процесс происходит полностью на графическом процессоре (GPU) без возврата на центральный процессор (CPU). Движок сохраняет точку отката перед каждым предложением. Если проверка отвергает часть токенов, система мгновенно откатывается к последнему принятому значению, не пересчитывая предыдущие шаги.

Оптимизация вычислений на уровне железа

Основная нагрузка ложится на этап верификации, так как вспомогательная модель мала и работает быстро. Проблема возникала из-за того, что стандартные ядра матричных умножений оптимизированы либо для одного токена, либо для больших пакетов, а проверка 2–8 токенов попадала в «серую зону».

Разработчики добавили в библиотеку MLX новое ядро, которое:

• Читает веса модели один раз и переиспользует их для всего пакета предсказаний.
• Исключает избыточные операции чтения данных.

На процессоре M5 Max с квантованием nvfp4 это ускорение сделало самые тяжелые матричные операции в Gemma 4 в 2–2,5 раза быстрее. Вычислительная сложность осталась прежней, прирост скорости получен за счет устранения дублирования работы.

Стоит учесть: Результаты измерений получены на бенчмарке Aider polyglot, который имитирует реальную работу кодинга-агента, а не синтетические тесты. Это означает, что заявленные цифры отражают практическую пользу при выполнении задач по программированию.

Практическое применение и доступность

Технология уже доступна по умолчанию в версии Ollama 0.31 и выше для macOS. Пользователям, скачавшим Gemma 4 ранее, необходимо обновить модель командой ollama pull gemma4:12b-mlx, чтобы получить версию с поддержкой MTP.

Для запуска агента используется команда:ollama launch claude --model gemma4:12b-mlx

Инструмент совместим с различными интерфейсами агентов, включая Codex, Droid, OpenCode и Copilot. Gemma 4 стала первой моделью с такой оптимизацией, но разработчики планируют распространить технологию на другие решения в будущем.

Важно: Ускорение наиболее заметно именно для задач программирования, где текст предсказуем из-за наличия закрывающих скобок, повторяющихся идентификаторов и шаблонного кода.

Операционные последствия и скрытые риски

На основе фактов из текста можно выделить следующие практические выводы для внедрения:

• Эффективность для кодинга: Агенты, работающие с кодом, станут значительно отзывчивее, так как MTP особенно хорошо справляется с предсказуемыми структурами программ. Это сократит время ожидания ответа при чтении файлов и запуске инструментов.
• Отсутствие необходимости в настройке: Пользователю не нужно вручную подбирать параметры длины буфера или включать функцию — система делает это автоматически, адаптируясь под текущий контекст и железо.
• Зависимость от оборудования: Заявленные показатели ускорения (до 90%) и работы ядра (в 2–2,5 раза быстрее) получены на конкретном железе (M5 Max). На других процессорах Apple Silicon или в других конфигурациях результаты могут отличаться, хотя принцип работы останется тем же.
• Требования к обновлению: Существующие копии модели Gemma 4 не содержат новой логики MTP. Без явного обновления версии модели через pull пользователи не получат прироста производительности, даже если установят новый Ollama.
• Гибкость отката: Механизм отката гарантирует, что в случае низкой предсказуемости текста (например, в художественном творчестве или сложной логике) система не будет работать медленнее, чем стандартная генерация, так как автоматически переключится на безопасный режим.