PD Disaggregation

Улучшенная пропускная способность за счёт PD Disaggregation

PD Disaggregation — это метод, разделяющий обработку запросов на две фазы: prefill и decode, чтобы распределить нагрузку между разными узлами. Такой подход позволяет избежать узких мест и повысить общую пропускную способность системы. Он используется совместно с динамическим разделением запросов и оптимизацией KV-кэша для повышения эффективности масштабирования. В результате достигается более высокая производительность в задачах с высокими требованиями к латентности. Подробнее →