Query
Query в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Query формирует веса внимания через умножение с Key в механизме Masked Multi-Head Attention
Суть: Query выступает одним из трех ключевых тензоров, генерируемых линейными слоями для вычисления весов внимания и фокусировки модели на релевантных частях текста.
Событие: В процессе обработки тензор Query размером [1, 4, 768] перестраивается в структуру [1, 8, 4, 96] для разделения на 8 независимых «голов» внимания.
Связь: Query перемножается с транспонированным тензором Key для получения сырых весов, которые затем нормализуются и применяются к тензору Value.
Фактор: В архитектуре encoder-decoder Query формируется исключительно в декодере, что позволяет связывать его с Key и Value, взятыми из кодера, для задач перевода.
Риск: Любое несоответствие в размерностях тензора Query при матричном умножении с Key приведет к немедленному сбою вычислений и остановке работы модели.
В нашей базе собрано 1 событие по теме «Query». Мы показываем все из них.