Western Digital возвращает HDD в ИИ-инференс: экономия на KV cache важнее скорости SSD

Western Digital (WD) утверждает, что традиционные жесткие диски (HDD) снова становятся необходимыми компонентами инфраструктуры для искусственного интеллекта. Компания объясняет это сдвигом фокуса от обучения моделей к их инференсу — процессу генерации ответов, где критична не только скорость вычислений, но и экономическая эффективность хранения контекста. По мере роста сложности агентных ИИ-систем требования к кэшу ключевых значений (KV cache) экспоненциально возрастают, что делает чистые SSD-решения слишком дорогими для масштабирования.

Экономический аргумент перевешивает гонку за минимальную латентность: если извлечение данных с HDD дешевле, чем повторное вычисление контекста на GPU, жесткий диск становится более выгодным активом, чем «быстрый» SSD.

Экономика кэша и проблема промахов

Основная задача KV cache — предотвратить повторную обработку уже рассчитанного контекста языковой моделью (LLM). Чем больше контекст хранится в памяти, тем выше шанс попадания в кэш (cache hit) и тем меньше нагрузка на дорогостоящие графические процессоры (GPU).

Когда происходит промах кэша (cache miss), возникают следующие последствия:

• Возрастает латентность ответа.
• GPU тратит ресурсы на повторные вычисления вместо обработки новых запросов.
• Общая стоимость инфраструктуры растет из-за неэффективного использования мощностей.

Для операторов ИИ вопрос меняется с «какое хранилище самое быстрое?» на «какое хранилище достаточно быстрое, чтобы избежать повторных вычислений?». Если данные можно достать быстрее, чем пересчитать, кэш выполняет свою функцию независимо от типа носителя.

HDD как слой массовой емкости

В иерархии хранения данных каждый уровень решает свою задачу:

• HBM (High Bandwidth Memory): Максимальная скорость, но крайне ограниченный объем.
• DRAM: Увеличивает доступный кэш, но остается дорогой в масштабе.
• SSD: Быстрое постоянное хранилище, однако его емкость ограничена стоимостью гигабайта.
• HDD: Предоставляет огромные объемы данных при низкой стоимости за единицу хранения.

Western Digital предлагает использовать HDD не как замену SSD, а как слой «массовой емкости». Это позволяет расширить эффективный охват кэша без пропорционального взрыва бюджета на инфраструктуру. Вместо попытки уместить все токены в дорогой памяти, организации могут хранить архив контекста на жестких дисках, повышая вероятность того, что нужные данные будут найдены там, а не придется их пересчитывать.

Многослойная архитектура вместо монолита

Самые эффективные архитектуры ИИ-инфраструктуры строятся на комбинации технологий, где каждый слой выполняет свою функцию:

• DRAM обеспечивает мгновенный доступ к активным данным.
• SSD служат высокопроизводительным буфером (staging tier).
• HDD предоставляют масштабируемую и экономичную емкость для хранения большого объема контекста.

Согласно бенчмаркам, упомянутым в материале, такая гибридная схема с небольшим слоем DRAM или SSD поверх HDD способна демонстрировать производительность, сопоставимую с архитектурами на чистых SSD, но при значительно большем объеме доступного кэша.

Смена приоритетов: от скорости к эффективности

Индустрия ИИ годами фокусировалась на размере моделей и количестве GPU для обучения. Теперь, когда ИИ масштабируется для инференса, ключевым узким местом становится экономика инфраструктуры. Максимизация частоты попаданий в кэш позволяет сэкономить значительные средства, высвобождая GPU для генерации новых ответов, а не для повторения старых операций.

Для архитекторов инфраструктуры вопрос смещается с «достаточно ли быстры HDD для ИИ?» на «можем ли мы позволить себе строить масштабируемый KV cache без них?». Жесткие диски предлагают оптимальный баланс между стоимостью и емкостью, необходимый для поддержки следующего поколения ИИ-систем.

• Операционные изменения: Внедрение HDD в стек инференса потребует пересмотра архитектурных решений, где раньше доминировали только NVMe SSD. Это означает необходимость настройки многослойного кэширования и оптимизации алгоритмов загрузки данных с медленных носителей.
• Экономический эффект: Использование HDD для хранения «холодного» контекста снижает стоимость владения инфраструктурой (TCO). Это критично для компаний, разворачивающих ИИ-сервисы с высокой нагрузкой и большими окнами контекста, где хранение всех данных в оперативной памяти или SSD нерентабельно.
• Зависимость от архитектуры: Эффективность решения напрямую зависит от правильного распределения нагрузки между DRAM, SSD и HDD. Неверная настройка слоев может привести к тому, что медленный доступ к HDD станет бутылочным горлышком, снижая общую производительность системы.