GPT2-small

GPT2-small демонстрирует снижение параметров на 10,79% при применении метода Trimming

Модель GPT2-small была использована в качестве ключевого примера для демонстрации эффективности техники обрезки словаря без необходимости дообучения. Исследователи применили алгоритм к данной архитектуре, сократив размер словаря с 50 257 до 32 768 токенов, что привело к уменьшению общего числа параметров. Этот эксперимент подтвердил возможность оптимизации модели под вычислительные ресурсы, сохраняя при этом работоспособность трансформерных блоков.

Исследование: Модель GPT2-small прошла тестирование методом trimming, в ходе которого её словарь был сокращен до кратного числа 32 768 токенов.

Эффект: В результате процедуры количество параметров модели GPT2-small уменьшилось на 10,79%, что доказывает применимость метода к архитектурам с «неудобными» размерами словаря.

Фактор: Успешное применение метода к GPT2-small стало возможным благодаря тому, что слой эмбеддингов в её архитектуре является последним, что соответствует обязательному требованию техники.

Подробнее →