Умозаключение

Снижение задержек в AI-инференсе за счёт вычислений в памяти

Инференс, или вывод, — это этап, на котором обученные модели искусственного интеллекта применяются для обработки новых данных. Он требует выполнения операций умножения матриц и векторов, часто сопряжённых с высокими задержками при использовании традиционной памяти. Технология 3DIMC позволяет выполнять такие вычисления непосредственно в памяти, что уменьшает время передачи данных и повышает общую эффективность. Это особенно важно для трансформерных моделей, где такие операции составляют основную часть нагрузки.

Подробнее →