PEFT
PEFT в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Упоминается вместе:
Календарь упоминаний:
Библиотека peft обеспечивает дообучение Phi-3 Mini на GTX 1060 через адаптеры LoRA
Суть: Библиотека peft реализует метод частичного дообучения с помощью адаптеров LoRA, позволяя обучать модель с 3,8 млрд параметров на видеокарте с 6 ГБ памяти.
Событие: Применение peft сократило объем обучаемых параметров до 0,33% от исходного размера, что позволило завершить обучение за 35 минут и получить адаптер весом 50 МБ.
Риск: Процесс обучения критически зависит от версий библиотеки peft, так как несовпадение версий с другими компонентами может приводить к ошибкам запуска.
Эффект: Использование peft позволяет распространять специализированные адаптеры отдельно от базовой модели, исключая необходимость перескачивания гигабайтов данных.
LightOnOCR-2-1B поддерживает PEFT для адаптации модели под специфические задачи бизнеса
Суть: Модель LightOnOCR-2-1B интегрирована в экосистему Hugging Face Transformers и поддерживает методы дообучения PEFT для создания специализированных версий без полной переподготовки.
Фактор: Наличие базовых контрольных точек в семействе моделей позволяет использовать PEFT для эффективного дообучения на собственных данных или экспериментов с методами обучения с подкреплением.
Эффект: Применение PEFT в сочетании с открытыми обучающими наборами данных позволяет компаниям создавать узкоспециализированные версии модели под свои документы, не начиная разработку с нуля.
Hugging Face доказала, что LoRA не является универсальным лидером среди методов PEFT
Суть: Команда Hugging Face провела масштабное тестирование методов параметрически-эффективной дообучения (PEFT) и установила, что популярная техника LoRA не всегда оптимальна. В задачах генерации изображений метод OFT превосходит LoRA по точности и потреблению памяти, а в математических задачах стандартная версия LoRA уступает альтернативам.
Исследование: Эксперименты показали, что в задачах генерации изображений OFT строго доминирует над LoRA, обеспечивая лучшее сходство с эталоном при меньшем использовании видеопамяти. В задачах с языковыми моделями LoRA находится на границе Парето только при использовании специфических модификаций, тогда как стандартная версия демонстрирует неэффективность.
Риск: Автоматический выбор LoRA по умолчанию без анализа конкретной задачи может привести к потере производительности или неоправданному расходу вычислительных ресурсов. Использование базовой версии LoRA вместо оптимизированных вариантов ведет к снижению точности и увеличению затрат на оборудование.
Эффект: Библиотека PEFT позволяет конвертировать адаптеры других методов в формат LoRA, что снимает барьеры совместимости с инфраструктурой, такой как vLLM и llama.cpp. Это дает возможность применять более эффективные методы дообучения без значительной потери качества и перестройки пайплайна развертывания.
В нашей базе собрано 3 события по теме «PEFT». Мы показываем все из них.