AllenAI представила OlmoEarth для анализа спутниковых снимков — ускорение в 155 раз и снижение затрат

Организация AllenAI выпустила платформу OlmoEarth, предназначенную для обработки спутниковых снимков в планетарном масштабе. Решение позволяет запускать модели искусственного интеллекта на огромных массивах данных, превращая сырые изображения в готовые карты рисков за считанные часы. Платформа уже используется для мониторинга вырубки лесов, оценки продовольственной безопасности и прогнозирования пожаров.

Ключевое преимущество системы — скорость и стоимость. За один день инфраструктура обрабатывает десятки терабайт изображений, покрывая целые континенты. Стоимость анализа составляет доли цента за квадратный километр. Это делает сложные геопространственные вычисления доступными для организаций без собственных мощных инженерных команд.

Важный нюанс: Разделение задач на этапы, выполняемые на разных типах процессоров, позволяет избежать простоя дорогих видеокарт. Это снижает стоимость вычислений, так как GPU работают только на самом сложном этапе — запуске модели, а не на подготовке данных.

Архитектура и распределение вычислительных ресурсов

Обработка спутниковых данных отличается от работы с обычными фотографиями или текстом. Один запуск модели может требовать перемещения терабайтов информации и часов работы. Система должна справляться с данными от разных поставщиков, имеющими различные проекции и разрешения, а также с пропусками из-за облачности.

Инженеры AllenAI разделили процесс на три этапа, каждый из которых выполняется на оптимальном оборудовании:

• Получение и предобработка (CPU): Загрузка изображений, их выравнивание по координатам и нормализация. Этот этап требует высокой скорости ввода-вывода, но не мощных видеокарт.
• Запуск модели (GPU): Непосредственно прогон данных через нейросеть. Здесь задействованы самые дорогие вычислительные мощности для получения предсказаний.
• Постобработка (CPU): Сборка отдельных фрагментов в единую карту, наложение масок и экспорт в удобные форматы (Zarr, GeoTIFF, GeoJSON).

Такой подход обеспечивает полную загрузку видеокарт, пока процессоры занимаются подготовкой и сборкой данных. Готовые результаты сразу отправляются в хранилище, минуя лишние этапы обработки.

Масштабирование и управление данными

Платформа OlmoEarth Run разбивает целевую территорию на множество независимых блоков. Каждый блок обрабатывается отдельным вычислительным узлом. Это позволяет запускать тысячи процессов одновременно. Например, для создания карты рисков лесных пожаров на территории Северной Америки система использовала 19 600 процессоров CPU и 994 видеокарт GPU.

Параллельная обработка сократила время выполнения задачи с теоретических 4 737 часов до 30,5 часов реального времени. Ускорение составило 155 раз. При этом скорость передачи данных в сети превысила 168 ГБ/с.

Для эффективной работы система должна быстро находить нужные снимки среди тысяч доступных. Платформа использует собственный индекс метаданных, который обновляется в реальном времени. Это позволяет не перегружать внешние сервисы запросами и выбирать лучшие изображения (например, с минимальной облачностью) для конкретной задачи.

Ключевой момент: Наличие собственного индекса метаданных и возможность выборочного чтения данных (windowed reads) критически важны для скорости. Скачивание целых сцен вместо нужных фрагментов сделало бы обработку континентальных масштабов экономически нецелесообразной.

Надежность и планы развития

В распределенных системах сбои неизбежны: провайдеры данных могут быть недоступны, снимки могут быть скрыты облаками, или задача может завершиться ошибкой. Платформа OlmoEarth спроектирована так, чтобы автоматически восстанавливаться после таких сбоев. Каждая задача выполняется в изолированном контейнере и может быть запущена заново без потери результатов.

Компания планирует расширить функционал платформы в следующих направлениях:

• Автоматизация: Запуск анализа по расписанию или при появлении новых снимков в интересующем регионе.
• Система оповещений: Мгновенное уведомление пользователей о изменениях на местности (вырубка леса, наводнение), а не просто выдача статических карт.
• Агентные инструменты: Упрощение работы с данными для пользователей без глубоких знаний машинного обучения.
• Новые типы данных: Интеграция метеорологических данных и снимков с новых спутников.
• Эмбеддинги: Создание моделей, которые работают с уже подготовленными векторами данных, что может ускорить вычисления и снизить затраты.
• Гибкость развертывания: Возможность запуска платформы на облаках разных провайдеров или в собственной инфраструктуре партнера.

Операционные последствия, тренды и практические аспекты

• Снижение порога входа: Организации, занимающиеся экологией и мониторингом, больше не обязаны содержать собственные команды инженеров и строить дорогую инфраструктуру для анализа спутниковых снимков.
• Зависимость от облачной инфраструктуры: Работа системы требует доступа к облачным хранилищам и возможности быстрого масштабирования вычислительных мощностей, что может быть ограничением для регионов со слабым интернет-соединением.
• Гибкость настройки бюджета: Пользователи могут балансировать между скоростью обработки и детализацией результата, выбирая размер модели и разрешение выходных данных под свои финансовые возможности.
• Необходимость стандартизации данных: Для максимальной эффективности система требует, чтобы поставщики спутниковых данных использовали облако-оптимизированные форматы и предоставляли уведомления о новых снимках.