MmBERT
MmBERT в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Исследователи Hugging Face создали 124 моноязычных версии mmBERT методом обрезки словаря
Команда Hugging Face применила метод trimming для создания оптимизированных версий модели mmBERT, удалив из многоязычного словаря токены, не относящиеся к целевым языкам. В результате было сформировано 124 специализированных модели, которые были выгружены на платформу для немедленного использования разработчиками. Этот подход позволил значительно сократить количество параметров без потери качества и необходимости в мощных видеокартах для процесса сжатия.
Событие: Исследователи разместили на Hugging Face коллекцию из 124 готовых моноязычных версий модели mmBERT, созданных с помощью метода trimming.
Исследование: Тестирование показало, что обрезка словаря mmBERT до 54,8 млн параметров дает результаты лучше, чем у DistilBERT, при этом поддерживая контекст в 8 192 токена.
Фактор: Процесс создания оптимизированных версий mmBERT выполняется за 8–9 минут на обычном процессоре, что делает метод значительно быстрее классической дистилляции, требующей дней работы на GPU.
Эффект: Удаление «шумных» токенов из словаря mmBERT позволило снизить количество параметров на 20–80%, сохранив при этом производительность модели на целевых языках.
В нашей базе собрано 1 событие по теме «MmBERT». Мы показываем все из них.