Sparse Attention
Sparse Attention в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2025
29 сентября
Ускоренная обработка длинного контекста за счёт Sparse Attention
Sparse Attention — это алгоритм, разработанный DeepSeek, который снижает вычислительные затраты при работе с длинными текстами. Вместо взаимодействия каждого токена с каждым, метод оценивает значимость прошлых токенов и оставляет только ключевые. Это позволяет сократить квадратную сложность задачи и ускорить обработку до 64 раз при длине текста до 128 000 токенов. Технология объединяет сжатие токенов на макроуровне с их выборкой на микроуровне, что сохраняет контекст без потери качества.
Sparse Attention имеет 1 запись событий в нашей базе. Объединили похожие карточки: Sparse Attention; Спектрально-ограниченное внимание; Разреженное внимание и другие.