Aether-7B-5Attn
Aether-7B-5Attn в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
VIDRAFT выпустил Aether-7B-5Attn как первый полностью открытый фундаментальный ИИ от частного стартапа
Южнокорейская компания VIDRAFT представила модель Aether-7B-5Attn, предоставив под лицензией Apache-2.0 не только веса, но и полный исходный код обучения, логи и данные для воспроизведения результата бит в бит. Архитектура модели использует пять различных механизмов внимания в структуре латинского квадрата и работает в режиме Mixture-of-Experts, активируя 2,98 млрд параметров из 6,59 млрд на токен. Несмотря на высокую прозрачность, специфика реализации накладывает ограничения на скорость генерации и пакетную обработку.
Событие: VIDRAFT выпустила модель Aether-7B-5Attn, обученную на 144,2 млрд токенов за 46 дней на кластере из 16 видеокарт NVIDIA B200.
Фактор: Использование разнородных механизмов внимания (полное, скользящее, дифференциальное, sparse и гибридное) в строгом порядке слоев исключает поддержку быстрого кэширования контекста (KV cache).
Риск: Отсутствие поддержки пакетной обработки последовательностей разной длины снижает пропускную способность модели при одновременной обработке множества запросов.
Инсайт: Финальная версия модели была выбрана не по минимальной функции потерь, а по точности на тестовом наборе, чтобы избежать подгонки формата ответов в ущерб способности к рассуждению.
Тренд: Появление Aether-7B-5Attn демонстрирует, что создание суверенных фундаментальных моделей возможно силами частного стартапа без участия государственных институтов.
В нашей базе собрано 1 событие по теме «Aether-7B-5Attn». Мы показываем все из них.