Transformers
Transformers в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Упоминается вместе:
Календарь упоминаний:
Оптимизация обучения трансформеров через упаковку последовательностей требует кастомизации масок внимания
Трансформеры могут существенно ускорить процесс обучения и снизить затраты на вычислительные ресурсы за счет метода «упаковки последовательностей», который исключает обработку пустых токенов-заполнителей. Однако для корректной работы этой техники трансформеры нуждаются в модификации стандартной маски внимания и сбросе позиционных идентификаторов, чтобы избежать смешения смыслов между разными предложениями внутри одной цепочки. Без явной блокировки доступа к токенам предыдущих предложений модель рискует получить искаженную логику, что нивелирует преимущества метода.
Фактор: Стандартные реализации в библиотеках transformers и trl не создают необходимую маску внимания для упакованных последовательностей, полагаясь на способность модели самостоятельно игнорировать токены после маркеров конца предложения.
Риск: Неправильная настройка маски внимания приведет к тому, что трансформеры начнут «подглядывать» в конец предыдущего предложения при генерации следующего, что ухудшит качество обучения.
Эффект: Исключение пустых токенов позволяет трансформерам обрабатывать больше полезных данных за один шаг обучения, увеличивая пропускную способность и сокращая время вычислений.
Связь: Эффективность ускоренных реализаций внимания, таких как FlashAttention, напрямую зависит от корректной поддержки кастомных масок для «рваных» последовательностей в процессе обучения трансформеров.
Hugging Face подтвердила готовность библиотеки Transformers к работе с видеокартой AMD Instinct MI455X
Библиотека Transformers прошла успешные тесты на новой видеокарте AMD Instinct MI455X, продемонстрировав высокую совместимость и способность эффективно использовать увеличенный объем памяти для запуска крупных моделей. Инженеры обеспечили стабильную работу ключевых алгоритмов и добавили поддержку мультимодальных задач, что позволяет использовать новое железо без глубокой переработки кода.
Событие: Hugging Face провела тестирование библиотеки Transformers на 24 архитектурах моделей на ускорителях MI455X, достигнув уровня успешного запуска в 99,5%.
Эффект: Благодаря 432 ГБ памяти на чипе, Transformers способна обрабатывать в 3 раза больше одновременных запросов для модели Qwen3-32B по сравнению с предыдущим поколением MI300.
Анонс: Разработчики планируют включить MI455X в ежедневные циклы автоматического тестирования (CI) библиотеки Transformers и расширить поддержку на процессоры Ryzen и видеокарты Radeon.
Фактор: Для обеспечения стабильной работы Transformers на новом оборудовании была доработана поддержка алгоритма Flash Attention и добавлена библиотека torchcodec для мультимодальных данных.
Тренд: Высокая совместимость Transformers с оборудованием AMD снижает риски перехода для разработчиков и создает альтернативу экосистеме NVIDIA, потенциально влияя на экономику развертывания инфраструктуры.
Библиотека Transformers обеспечивает совместимость новой гибридной модели Nemotron 3 Nano 4B с экосистемой разработки
Компания Nvidia выпустила компактную модель Nemotron 3 Nano 4B на базе гибридной архитектуры Mamba-Transformer, оптимизированную для работы на периферийных устройствах. Для обеспечения широкого внедрения и удобства разработчиков модель была адаптирована под поддержку ключевых индустриальных движков. Это позволяет специалистам использовать стандартные инструменты для развертывания и тестирования новой архитектуры без необходимости создания специализированных окружений с нуля.
Событие: Модель Nemotron 3 Nano 4B официально добавлена в репозитории Hugging Face с полной поддержкой библиотеки Transformers.
Фактор: Совместимость с библиотекой Transformers стала обязательным условием для интеграции модели в существующие пайплайны разработки наряду с vLLM и TRT-LLM.
Эффект: Поддержка библиотеки Transformers позволила обеспечить запуск модели на устройствах Jetson Orin Nano со скоростью генерации 18 токенов в секунду в режиме 4-битного квантования.
makeMoE демонстрирует модификацию архитектуры Трансформеры через внедрение разреженной смеси экспертов
Разработчик Авинош Сурьяраччи реализовал проект makeMoE, в котором Трансформеры выступает базовой основой, модифицированной заменой полносвязного слоя на набор специализированных подсетей. В этой конфигурации Трансформеры использует механизм маршрутизации для выбора только части экспертов для обработки каждого токена, что позволяет увеличить общее количество параметров без пропорционального роста вычислительной нагрузки. Модель успешно обучилась на задаче генерации текста в стиле Шекспира, подтвердив работоспособность адаптации базовых принципов Трансформеры под новые требования к эффективности.
Событие: Разработчик опубликовал открытый код проекта makeMoE, где Трансформеры был перестроен с использованием механизма Top-k Gating и Noisy Top-k Gating для управления потоком данных между экспертами.
Риск: В текущей реализации Трансформеры отсутствует функция потерь для балансировки нагрузки, что создает угрозу активации лишь 10–15% экспертов и простоя остальных ресурсов.
Фактор: Трансформеры в данной архитектуре требует загрузки всех параметров модели в память GPU на каждом шаге, что становится критическим ограничением при масштабировании до сотен миллиардов параметров.
Эффект: Модификация Трансформеры позволила достичь снижения функции потерь и генерации узнаваемых паттернов шекспировских пьес при использовании модели с 9 млн параметров.
Модель Inkling обеспечивает нативную поддержку библиотеки Transformers для локального развертывания
Суть: Библиотека Transformers предоставляет полную поддержку модели Inkling «из коробки» начиная с версии 5.14.0, обеспечивая готовность к работе без дополнительных настроек.
Фактор: Наличие прямой интеграции с библиотекой Transformers позволяет разработчикам использовать стандартные инструменты для загрузки и запуска мультимодальной модели с архитектурой MoE.
Связь: Поддержка библиотеки Transformers в связке с фреймворками vLLM и SGLang создает условия для оптимизированного развертывания модели в продакшн-среде на распределенных GPU.
В нашей базе собрано 27 событий по теме «Transformers». Мы показываем все из них.
Объединили похожие карточки: Transformers; «Трансформерные модели искусственного интеллекта»; «Модели на основе архитектуры Трансформер» и другие.