专栏：大模型应用开发：从原理到生产 篇号：11 建议标签：Prompt Engineering、大模型、AIGC、人工智能、提示词 前面十篇，我们一直在拆大模型内部到底发生了什么：Token、Embedding、Transformer、Attention、自回归推理、KV Cache、MoE。 理解这些之后，我们终于可以进入应…

前言 大模型推理正在经历一场架构层面的变革。当模型参数量突破千亿，单卡已经无法装下完整的推理流程，PD分离架构应运而生——Prefill阶段和Decode阶段分别部署在不同的昇腾NPU上。这种拆分让两个阶段可以独立扩缩容，但也带来了一个物理层面…

前言 在昇腾AI处理器的开发旅程中，每一位算子工程师都会面临一个核心问题：如何高效地将算法思想转化为能在AI Core上高速运行的代码。当我第一次接触Ascend C语言时，那种既熟悉又陌生的感觉至今印象深刻——熟悉的C/C语法骨架，陌生…

前言 在调试一个昇腾NPU上的推理性能问题，模型跑得通但延迟居高不下。火焰图指向了aclrtMalloc和任务提交之间的那段空白——CPU时间花了不少，但NPU似乎在等。那段空白里到底发生了什么？Runtime把请求交给了谁？谁又把命令真正写进…

前言 在昇腾NPU上运行一个算子时，runtime需要知道NPU是否存在、有没有空闲的内存、固件是否已经加载完毕。这些看似基础的查询和操作，在CANN软件栈中有专门的一层来负责——sip（System Interface Protocol）。它不像ops系列那样直接…

本文还有配套的精品资源，点击获取 简介：提供一套完整可用的OpenDDS通信演示工程，包含publisher.exe和subscriber.exe两个独立可执行文件，开箱即用无需额外编译配置。所有源码均基于标准DDS IDL接口生成，涵盖C/S/Imp…

前言 在CANN软件栈中，runtime（运行时）扮演的角色常被误解为"类似于CUDA Runtime的封装层"。实际上CANN runtime的职责范围更聚焦也更深入：它位于GE（图引擎）之下、driver之上，是算子从…

本文还有配套的精品资源，点击获取 简介：装上就能用的Fastboot专用USB驱动，专为Windows电脑连接处于Fastboot模式的安卓手机/平板设计。包含谷歌官方签名的INF配置文件（android_winusb.inf）、对应x64和x86平台的数字…