打赏

相关文章

11 Prompt Engineering 的本质:不是咒语,是输入工程

专栏:大模型应用开发:从原理到生产 篇号:11 建议标签:Prompt Engineering、大模型、AIGC、人工智能、提示词 前面十篇,我们一直在拆大模型内部到底发生了什么:Token、Embedding、Transformer、Attention、自回归推理、KV Cache、MoE。 理解这些之后,我们终于可以进入应…

从寄信到直投:hixl单边通信库如何拆掉PD分离场景中的数据搬运墙——昇腾CANN计算基础层的跨步通信原语深度拆解

前言 大模型推理正在经历一场架构层面的变革。当模型参数量突破千亿,单卡已经无法装下完整的推理流程,PD分离架构应运而生——Prefill阶段和Decode阶段分别部署在不同的昇腾NPU上。这种拆分让两个阶段可以独立扩缩容,但也带来了一个物理层面…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部