Dask

Hanno Labs представила hfdask: инструмент для генерации синтетических данных на Hugging Face Jobs

Компания Hanno Labs выпустила open-source библиотеку hfdask, которая автоматизирует создание распределенных вычислительных кластеров на платформе Hugging Face Jobs. Инструмент использует граф Dask для координации задач между CPU- и GPU-узлами, решая проблему простоя дорогостоящего оборудования во время процессороемких операций фильтрации и валидации. Архитектура позволяет выполнять подготовку данных параллельно с генерацией примеров, сохраняя зависимости этапов явными и исключая необходимость во внешних оркестраторах.

Событие: Библиотека hfdask стала доступна на PyPI и GitHub, предоставляя механизм для запуска распределенных задач через Hugging Face Jobs.

Фактор: Разделение пайплайна на отдельные скрипты требует дополнительной оркестрации и хранения промежуточных данных, тогда как единый граф Dask сохраняет зависимости между этапами явными.

Эффект: CPU-задачи выполняются параллельно, не блокируя GPU, что позволяет избежать простоя ускорителей во время ресурсоемких для процессора операций.

Подробнее →

Библиотека LSDB использует Dask для обработки 80 ТБ астрономических данных на ноутбуке

Суть: Библиотека LSDB применяет фреймворк Dask для организации параллельной обработки и ленивых вычислений при анализе 80 ТБ астрономических данных. Это позволяет выполнять сложные задачи кросс-матчинга на стандартном ноутбуке с 4 ГБ оперативной памяти.

Эффект: Использование Dask в архитектуре LSDB устраняет необходимость в выделенных кластерах и позволяет исследователям мгновенно работать с потоковыми данными. Система загружает в память только нужные сегменты, полностью игнорируя пустые участки неба.

Фактор: Запрос на сопоставление данных создает граф задач через Dask, но фактическая обработка начинается только по команде пользователя. Такой подход предотвращает переполнение памяти и обеспечивает стабильную работу даже при увеличении объема данных в 150 раз.

Подробнее →