打赏

相关文章

从LPDDR5到GDDR6:我们的大模型推理芯片选型实战与避坑心得

从LPDDR5到GDDR6:大模型推理芯片选型实战与避坑心得在AI芯片设计的浪潮中,内存选型往往成为决定项目成败的关键因素之一。去年我们团队在设计一款面向大模型推理的专用芯片时,就经历了从LPDDR到GDDR的技术路线转变。这段经历让我深刻认识到&a…

Skeleton-of-Thought:大模型推理加速的并行化思维骨架技术

1. 项目概述:当大模型“思考”时,我们能否让它“多线程”工作?如果你用过ChatGPT、Claude或者国内的文心一言、通义千问这类大语言模型,一定对那个“一个字一个字往外蹦”的生成过程印象深刻。无论是写代码、创作故事还是回答复杂…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部