PEFT
PEFT в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Hugging Face доказала, что LoRA не является универсальным лидером среди методов PEFT
Суть: Команда Hugging Face провела масштабное тестирование методов параметрически-эффективной дообучения (PEFT) и установила, что популярная техника LoRA не всегда оптимальна. В задачах генерации изображений метод OFT превосходит LoRA по точности и потреблению памяти, а в математических задачах стандартная версия LoRA уступает альтернативам.
Исследование: Эксперименты показали, что в задачах генерации изображений OFT строго доминирует над LoRA, обеспечивая лучшее сходство с эталоном при меньшем использовании видеопамяти. В задачах с языковыми моделями LoRA находится на границе Парето только при использовании специфических модификаций, тогда как стандартная версия демонстрирует неэффективность.
Риск: Автоматический выбор LoRA по умолчанию без анализа конкретной задачи может привести к потере производительности или неоправданному расходу вычислительных ресурсов. Использование базовой версии LoRA вместо оптимизированных вариантов ведет к снижению точности и увеличению затрат на оборудование.
Эффект: Библиотека PEFT позволяет конвертировать адаптеры других методов в формат LoRA, что снимает барьеры совместимости с инфраструктурой, такой как vLLM и llama.cpp. Это дает возможность применять более эффективные методы дообучения без значительной потери качества и перестройки пайплайна развертывания.
PEFT имеет 1 запись событий в нашей базе.