行业资讯

长上下文把瓶颈从算力挪到带宽

窗口拉长之后,注意力的显存和访存会先于计算打满。

上下文从几千拉到几十万 token,新增的开销主要在 KV 缓存和注意力访存,而不是矩阵乘本身。

付费阅读

微信支付 ¥1.00 阅读全文

使用微信扫一扫付款。

微信支付二维码
潞晨人工智能潞晨人工智能长上下文把瓶颈从算力挪到带宽 | 潞晨人工智能