Открытые большие языковые модели

Открытые большие языковые модели меняют экономику развертывания благодаря выходу Kimi K3 с 2,8 трлн параметров

Компания Moonshot AI анонсировала выпуск полного набора весов модели Kimi K3, что станет первым в истории случаем открытого доступа к модели класса 3 трлн параметров. Благодаря внедрению квантования MXFP4 и гибридного механизма внимания, требования к памяти снижены до 1,4 ТБ, делая развертывание возможным для организаций с кластерами из 8–16 узлов. Открытые большие языковые модели демонстрируют результаты, сопоставимые с закрытыми лидерами рынка в задачах программирования и обработки контекста в 1 млн токенов, однако их интеграция требует доработки стандартных инструментов инференса и пересмотра подходов к тонкой настройке.

Анонс: Полный набор весов модели Kimi K3 будет доступен для открытого использования 27 июля 2026 года.

Фактор: Применение формата квантования MXFP4 снижает требования к памяти в 4 раза по сравнению с FP16, позволяя хранить модель в 1,4 ТБ вместо 5,6 ТБ.

Событие: В тестах на длительное программирование (SWE Marathon и Program Bench) открытая модель показала лучшие результаты среди всех протестированных систем.

Риск: Использование сжатых весов MXFP4 в качестве базы для адаптеров LoRA/QLoRA создает технические вызовы, так как традиционные методы тонкой настройки могут не работать корректно.

Тренд: Порог входа для самостоятельного хостинга таких моделей смещается от одиночных видеокарт к необходимости развертывания кластеров из 8–16 узлов с видеокартами H100 или B200.

Подробнее →