Torch
Torch в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Упоминается вместе:
Календарь упоминаний:
PyTorch обеспечивает запуск модели прогноза погоды AIFS 2.0 на широком спектре оборудования
Разработчики модели AIFS Single 2.0 выпустили патч совместимости, который позволяет запускать энергоэффективный ИИ-прогноз на любых устройствах, включая старые видеокарты и процессоры без ускорения. Это стало возможным благодаря перенаправлению запросов специализированных библиотек на стандартные механизмы PyTorch, что устранило жесткие требования к оборудованию класса Ampere. Теперь модель доступна для локального инференса на видеокартах NVIDIA любого поколения, процессорах Apple Silicon и обычных CPU, а также для запуска через облачные сервисы Hugging Face.
Событие: Патч совместимости, перенаправляющий запросы на стандартные механизмы PyTorch, был выпущен для устранения зависимости от библиотеки flash-attn и видеокарт класса Ampere.
Эффект: Использование PyTorch позволило расширить аудиторию модели, сделав её доступной для запуска на старых видеокартах, процессорах Apple Silicon и центральных процессорах (CPU).
Фактор: Стандартные механизмы PyTorch стали технической основой для имитации работы недостающей библиотеки, что упростило интеграцию прогноза в приложения на стандартном оборудовании.
PyTorch предоставляет инструменты для реализации упаковки последовательностей с явной блокировкой внимания
В статье описывается метод оптимизации обучения больших языковых моделей, где PyTorch выступает ключевым инструментом для создания алгоритмов, исключающих пустые токены-заполнители. Библиотека позволяет реализовать векторизованные операции для построения специальных масок внимания, предотвращающих смешивание границ между склеенными предложениями. Для корректной работы метода требуется использование возможностей PyTorch по модификации позиционных идентификаторов и созданию кастомных масок, так как стандартные реализации в сторонних библиотеках могут не обеспечивать необходимую изоляцию данных.
Исследование: В статье представлен алгоритм на PyTorch для поиска границ последовательностей (токенов EOS) и построения матрицы маски, блокирующей доступ к токенам из предыдущих предложений внутри одной упакованной цепочки.
Фактор: Использование векторизованных операций PyTorch позволяет реализовать сложную логику пакетной обработки без применения медленных циклов, что критично для эффективности метода упаковки.
Связь: Эффективность метода упаковки последовательностей напрямую зависит от поддержки API flexattention в PyTorch, который позволяет работать с кастомными масками для «рваных» последовательностей в связке с FlashAttention.
Риск: Применение готовых инструментов без проверки их внутренней логики может привести к потере преимуществ упаковки, если они не реализуют явную блокировку внимания, которую необходимо кодировать на PyTorch.
PyTorch включен в список поддерживаемых фреймворков для локальной разработки ИИ на платформе AMD Ryzen AI Halo
Платформа AMD Ryzen AI Halo, предназначенная для инженеров и создателей ИИ-приложений, официально поддерживает работу с PyTorch на локальных устройствах без необходимости подключения к облачным серверам. Это позволяет запускать нейросети объемом до 200 миллиардов параметров непосредственно на процессорах Ryzen AI Max+ 395, обеспечивая совместимость с операционными системами Windows и Linux.
Событие: Платформа Ryzen AI Halo, поддерживающая PyTorch, станет доступна для предзаказа в июне 2026 года в магазинах сети Micro Center.
Фактор: Наличие PyTorch в списке совместимых инструментов позволяет разработчикам тестировать и запускать сложные модели локально, устраняя зависимость от облачной инфраструктуры.
Эффект: Интеграция PyTorch в единую локальную систему сокращает цикл создания ИИ-агентов с нескольких недель до нескольких дней за счет упрощения настройки окружения.
PyTorch используется для реализации и обучения экспериментальной модели с архитектурой Mixture of Experts
Фреймворк PyTorch стал технической основой для проекта makeMoE, в котором с нуля создана языковая модель с разреженной архитектурой «смесь экспертов». С помощью PyTorch был реализован полный цикл разработки: от предобработки данных и инициализации весов методом Кайминга Хэ до обучения модели на видеокарте NVIDIA A100 и мониторинга метрик через MLflow. Код демонстрирует работу механизма маршрутизации токенов между специализированными подсетями и подтверждает работоспособность подхода на задаче генерации текста в стиле Шекспира.
Исследование: На базе PyTorch обучена модель объемом 9 млн параметров, которая достигла оптимальной точки сходимости на 4500-м шаге, показав снижение функции потерь на обучающей и валидационной выборках.
Фактор: Выбор PyTorch обусловлен необходимостью гибкой реализации кастомных слоев трансформера, где полносвязные слои заменены на пул независимых MLP-сетей с механизмом Top-k Gating.
Риск: В текущей реализации на PyTorch отсутствует функция потерь для балансировки нагрузки, что создает угрозу использования лишь 10–15% доступных экспертов и снижения общей эффективности архитектуры.
Эффект: Использование PyTorch позволило создать читаемый и модифицируемый код, который служит полигоном для тестирования новых стратегий инициализации и методов токенизации без ориентации на максимальную производительность.
PyTorch демонстрирует критическую зависимость скорости внимания от выбора бэкенда
Суть: Исследование команды PyTorch показало, что автоматический выбор режима работы функции внимания может привести к замедлению вычислений в 3,7 раза по сравнению с оптимизированным ручным кодом.
Событие: Тестирование на GPU NVIDIA A100 выявило, что стандартный математический бэкенд PyTorch использует 20 ядер GPU и преобразует данные в FP32, что снижает производительность.
Фактор: Встроенная функция PyTorch scaled_dot_product_attention по умолчанию может выбрать медленный алгоритм, пересобирающий маску на каждом шаге, вместо эффективного использования Tensor Cores.
Эффект: Использование бэкендов Flash и Efficient в PyTorch позволяет объединять операции в одно ядро и экономить память, избегая записи промежуточных матриц в HBM.
Инсайт: Низкая загрузка ядер в трассировке PyTorch при работе алгоритма FlashAttention не указывает на неэффективность, а свидетельствует о стратегии удержания данных в регистрах чипа.
В нашей базе собрано 18 событий по теме «Torch». Мы показываем все из них.
Объединили похожие карточки: Torch; PyTorch и другие.