潞晨人工智能
AI 大模型平台
Token 工厂 / MaaS
企业 AI 服务
客户案例
生态合作
关于我们
加入我们
行业资讯
Open main menu
行业资讯
长上下文把瓶颈从算力挪到带宽
窗口拉长之后,注意力的显存和访存会先于计算打满。
上下文从几千拉到几十万 token,新增的开销主要在 KV 缓存和注意力访存,而不是矩阵乘本身。
付费阅读
微信支付 ¥1.00 阅读全文
使用微信扫一扫付款。
潞晨人工智能
潞晨人工智能
长上下文把瓶颈从算力挪到带宽 | 潞晨人工智能