Large Model Systems Organization

Улучшение производительности в задачах с высокой латентностью

Организация Large Model Systems Organization (LMSYS) провела тестирование, демонстрирующее значительное повышение производительности систем NVIDIA Blackwell Ultra в задачах с высокими требованиями к скорости обработки. Были применены методы оптимизации, такие как PD Disaggregation, динамическое разделение запросов и оптимизация ёмкости KV-кэша, что позволило повысить пропускную способность и снизить задержки. Результаты показали, что система GB300 NVL72 обеспечивает в 1,4–1,5 раза большую производительность по сравнению с предыдущей версией GB200 NVL72, особенно в сценариях, чувствительных к латентности. Подробнее →