Яндекс открыл код Alice AI Foundation LLM — MoE-модель обгоняет аналоги в кодинге

Яндекс опубликовал в открытом доступе претрейн-версию своей новой большой языковой модели Alice AI Foundation LLM. Разработка обучена с нуля и работает на архитектуре MoE (Mixture of Experts), что позволяет ей активировать лишь часть вычислительных ресурсов при каждом запросе. Модель демонстрирует высокие результаты в программировании, логических задачах и знании фактов на русском языке, превосходя по некоторым метрикам более крупные аналоги от конкурентов.

Лицензия Apache 2.0 разрешает использовать модель как в исследовательских, так и в коммерческих целях. Разработчики получили доступ к коду, техническим отчетам и новым бенчмаркам для оценки русскоязычных знаний ИИ.

Технические характеристики и производительность

Модель построена на архитектуре MoE, которая разделяет вычисления между несколькими «экспертами». Из 80 млрд общих параметров в момент обработки запроса активны только 3 млрд. Это обеспечивает высокую скорость инференса (генерации ответа) и снижает нагрузку на оборудование.

Ключевые показатели производительности:

• Программирование: Модель превосходит NVIDIA Nemotron-3-Super-120B-Base в тестах на написание кода, несмотря на то, что использует в четыре раза меньше активных параметров.
• Логика и математика: На олимпиадных задачах по математике Alice AI Foundation LLM делит лидерство с моделью Qwen3.5-35B-A3B-Base.
• Русскоязычные знания: По качеству ответов на фактологические вопросы модель сопоставима с предыдущей закрытой версией Alice AI LLM, которая имеет в три раза больше общих параметров и в семь раз больше активных. При этом новая открытая модель обгоняет некоторые более крупные опенсорс-аналоги, например, DeepSeek-V4-Flash-Base (284 млрд параметров).

Архитектура MoE позволяет компании тестировать эффективные решения для будущей единой рассуждающей модели (ERM), которая станет ядром агентных функций Алисы AI. Это снижает стоимость поддержки ИИ-агентов, которым требуется быстрая реакция на поручения пользователя.

Новые бенчмарки для оценки русскоязычного ИИ

Яндекс разработал два собственных набора задач, так как существующие англоязычные тесты не позволяют объективно оценить качество ответов на русском языке. Оба бенчмарка выложены в открытый доступ вместе с эталонными ответами и протоколом оценки.

• WikiWebFacts: Проверка знания дат, определений, событий и персоналий. База данных построена на материалах онлайн-энциклопедий и частотных поисковых запросах.
• HardMultiQA: Более сложные задачи, основанные на анонимизированных реальных запросах к Алисе AI. Тест охватывает редкие области знаний (медицина, право, IT, искусство). Модель должна не просто вспомнить факт, а выбрать несколько верных вариантов, перечислить их или найти ошибку в тексте.

Оптимизация процесса обучения

Инженеры Яндекса существенно сократили время и ресурсы, необходимые для подготовки модели:

• Ускорение оптимизатора: Перестроена логика пересылки данных между видеокартами. Теперь передача информации происходит параллельно с вычислениями, что ускорило шаги оптимизации примерно в два раза.
• Фильтрация данных: Вместо запуска ресурсоемкой модели оценки на всех документах (что требовало бы более 200 тысяч часов работы GPU), компания внедрила каскад классификаторов. Сначала данные проходят через простые фильтры, и только отобранный минимум попадает к сложным моделям. Это сократило количество вычислений в десятки раз с сохранением 95% полезных документов.
• Расширение базы знаний: Особое внимание уделено обогащению данных в сферах права, медицины и математики.

Модель, техрепорт и бенчмарки доступны на платформе Hugging Face, технический отчет опубликован на Хабре.