SFTTrainer
SFTTrainer в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
SFTTrainer объединяет последовательности без явной блокировки внимания между предложениями
В текущей реализации параметра packing=True в библиотеке trl инструмент SFTTrainer склеивает короткие примеры в длинные последовательности, но не создает специальную маску внимания и не сбрасывает позиционные идентификаторы для новых предложений. Вместо явной изоляции границ модель полагается на способность самостоятельно игнорировать токены после маркера конца последования, следуя подходу из статьи GPT-3. Это отличает работу SFTTrainer от методов с полной кастомной маскировкой, где доступ к предыдущим предложениям внутри пакета жестко блокируется.
Фактор: SFTTrainer не реализует явную блокировку внимания и корректировку позиционных ID при упаковке, полагаясь на способность модели игнорировать токены после EOS.
Риск: Отсутствие специальной маски в SFTTrainer может привести к тому, что модель начнет «подглядывать» в конец предыдущего предложения, что снизит качество обучения.
Связь: Использование SFTTrainer с параметром packing=True без дополнительной настройки маски внимания делает метод менее эффективным по сравнению с реализациями, использующими явную блокировку границ предложений.
В нашей базе собрано 1 событие по теме «SFTTrainer». Мы показываем все из них.