DSA

Снижение вычислительной нагрузки через DSA

DeepSeek представила новую архитектуру «DeepSeek Sparse Attention» (DSA), предназначенную для уменьшения вычислительной сложности при обработке длинных текстов. Традиционный механизм внимания требует квадратичных вычислений, что делает его неэффективным для больших объёмов текста. DSA фокусируется на наиболее значимых связях между словами, используя для оценки небольшую нейросетевую компоненту, которая выбирает до 2048 ключевых связей на слово. Это позволяет снизить объём вычислений без потери качества понимания текста. Подробнее →