Механизм внимания

Снижение вычислений за счёт оптимизации внимания

Механизм внимания в языковых моделях определяет, какие слова важны для понимания контекста, но при увеличении длины текста вычисления растут квадратично, что делает его дорогим и неэффективным. DeepSeek представила архитектуру DSA, которая использует sparse attention — модель оценивает только до 2048 наиболее значимых связей между словами, игнорируя менее важные. Это позволяет сократить вычислительную нагрузку без потери качества понимания текста. Подробнее →