Архитектура ИИ-инференса

Архитектура ИИ-инференса интегрирует жесткие диски как слой массовой емкости для оптимизации KV cache

Western Digital заявляет о возвращении традиционных HDD в инфраструктуру генерации ответов ИИ. Сдвиг фокуса с обучения на инференс делает критичным экономическое хранение контекста, так как экспоненциальный рост требований к кэшу ключевых значений (KV cache) делает чистые SSD-решения слишком дорогими для масштабирования агентных систем. Жесткие диски предлагается использовать не вместо SSD, а как нижний слой иерархии хранения наряду с DRAM и HBM, что позволяет расширить охват кэша без пропорционального увеличения бюджета.

Событие: Western Digital подтвердила актуальность использования HDD в инфраструктуре ИИ-инференса, объясняя это необходимостью снизить стоимость хранения растущего объема KV cache для агентных систем.

Тренд: Индустрия переходит от монолитных архитектур хранилища к многослойной схеме (DRAM/SSD/HDD), где жесткие диски обеспечивают масштабируемую емкость для «холодного» контекста, а SSD служат буфером.

Фактор: Экономическая эффективность становится приоритетнее минимальной латентности: извлечение данных с HDD считается выгоднее повторного вычисления контекста на GPU при условии, что скорость чтения превышает время пересчета.

Риск: Неверная настройка распределения нагрузки между слоями DRAM, SSD и HDD может превратить медленный доступ к жестким дискам в узкое место, снижая общую производительность системы инференса.

Подробнее →