在先前的文章里笔者聊了怎么用AI-Native的方式编写一个告警诊断Agent和Skill那篇更多是单点视角怎么把一个Agent做好的问题。这篇文章接续上篇的内容从一个更加完备的工程角度简单聊一下怎么把Agent和Skill跟自己日常做的工作做更深度的集成让人退到工程后面去而不是把AI当做一个外挂的提效工具。首先是第一条原则深度放权核心就是承认模型的智商比自己高而且不是高一点半点。不管知识面、编码熟练度还是干活性价比人跟模型比哪哪都差。所以能让Agent做的事情尽量让Agent生成Agent做不了的才由人来做。这个说起来简单实操中却很反直觉。常见的做法是有了Agent之后还是不放心在上面添加各种Workflow、编排、校验节点之类人为的东西把Agent框得死死的结果能力施展不开最后效果不好反而得出AI不行的结论。举个例子去年年底笔者在做知识库重构攻坚6个人花20天把一个企业级的知识库重构完。如果现在用模型来做估计一个人两周就能搞定。这中间的差距说白了就是放权程度前者还是人在主导AI打下手后者是AI来主导人只管验收和把关两种方式出来的效率肯定不是一个量级的。那人的核心优势在哪里多数人的第一反应是懂业务但并不是。智商高的模型稍微熟悉下业务就可以把你代替掉。人的核心优势是能做最兼顾现实和理性的判断。AI更多是理性而非现实它给出的方案单从技术上看是没毛病的但落地的时候有很多东西是技术覆盖不到的比如人力够不够、上下游排期能不能配合、存量的历史包袱敢不敢动、变更窗口允不允许这些约束下有时候看起来次一点的方案反而是能落地的。所以充分放权的同时还是要做harness本质上就是为了满足各类人的需求让AI舍弃一些理性让结果更回归现实。其次是怎么判断哪些事情要由人来做也就是古法编程的适用边界笔者的判断标准是两块涉及私域知识、业务SOP需要由人介入把控的事情由人来做。倒不是模型学不会这些知识而是这类事情怎么判断要贴着现实来组织的共识、业务的权衡这些东西不是纯靠理性推导出来的。有执行效率要求的事情比如千万级数据的处理、高频的批量任务交给Agent写程序来做。模型直接推理一轮的成本跟时延比起跑一段代码没有优势。值得一提的是当前工作里最常见的形态并不是所有情况都Agentic执行而是在古法编程的工程基础上对特定的一些业务场景做AI驱动。这个形态是非常合理的因为就算让AI来搞AI也必然会自己写一堆代码先构建一些基础工程然后再在上面继续做事。所以为什么AI模型用在Coding场景最多因为就算让AI搭建一套虚拟业务它也会认为需要Coding的场景最多。除去这两块之外的事情都建议交给Agent。当然有一个前提私域知识虽然由人把控但把控的方式不是每件事都人工盯着而是把知识沉淀成Agent可消费的形态。这里要强调一点要把Agent做大规模的工程化底座的知识库也要做大规模的工程化这个非常重要。只把Agent工程化拉起来知识供给还停留在零散文档的阶段那规模化落地大概率是做不起来的。然后是知识预热。在执行效率有SLA的前提下能不能快速精准拿到需要的知识对Agent的效果提升非常重要。比起纯RAG或者把Reference堆在Prompt里更好的做法是把ProviderKBase和ConsumerAgent这个关系做好整体分三层第一层Agent在运行前主动去Claim自己需要的知识声明清楚这个Skill需要哪些知识、什么版本第二层KBase针对特定版本的Agent做预热把Claim到的知识提前准备好注入到Agent的运行上下文里第三层实在hit不到的才fallback到RAG兜底。这套机制的好处是知识消费从被动检索变成了主动声明给什么知识、什么版本、什么时机注入都是可控的而不是像纯RAG那样每次靠向量相似度赌一把召回质量。RAG就作为兜底不作为第一选择这样才能充分发挥私域知识库的优势。再往后是定制化模型。知识预热做的事情本质上是把知识放在模型外面用工程手段喂给模型那能不能直接把知识放进模型里面呢答案是可以的就是用冗余的知识对模型做进一步训练。这里说的冗余知识是知识库里使用频率高、跟业务场景强绑定的内容拿去做SFT或者继续预训练让模型一开始就懂这部分东西实战场景里的输出也会更加准确。当然定制化模型成本不低建议先把预热机制跑顺沉淀出哪些知识是高频消费的再针对性做定制化训练循序渐进。最后想多说几句给古法编程比较有经验的老手们根本无需担忧。你对于技术演进的判断就是让Agent/Skill发挥最大潜能的钥匙。你懂技术AI自然知道你想要什么对技术一知半解的话AI就只会在你的上限游走你想不到的东西模型也发挥不出来。所以与其焦虑被替代不如想想老手对技术演进的判断力在AI时代难道不是最为稀缺的harness么总体来看Agent和Skill跟工作的深度集成核心还是处理好人和模型的分工模型负责执行人负责做兼顾现实和理性的判断用harness让结果回归现实。知识层面则从被动RAG走向Provider/Consumer的预热再进一步走到定制化模型。最后再简单强调一下这篇文章本身也是笔者第一次极度充分借助Agent来写的从提纲到行文都是跟Agent来回打磨出来的也算是文中观点的一次实践了。充分放权但把握住核心的判断这便是Agent的Harness之道。
【AI原生】优化Agent和Skill工程的一些技巧
在先前的文章里笔者聊了怎么用AI-Native的方式编写一个告警诊断Agent和Skill那篇更多是单点视角怎么把一个Agent做好的问题。这篇文章接续上篇的内容从一个更加完备的工程角度简单聊一下怎么把Agent和Skill跟自己日常做的工作做更深度的集成让人退到工程后面去而不是把AI当做一个外挂的提效工具。首先是第一条原则深度放权核心就是承认模型的智商比自己高而且不是高一点半点。不管知识面、编码熟练度还是干活性价比人跟模型比哪哪都差。所以能让Agent做的事情尽量让Agent生成Agent做不了的才由人来做。这个说起来简单实操中却很反直觉。常见的做法是有了Agent之后还是不放心在上面添加各种Workflow、编排、校验节点之类人为的东西把Agent框得死死的结果能力施展不开最后效果不好反而得出AI不行的结论。举个例子去年年底笔者在做知识库重构攻坚6个人花20天把一个企业级的知识库重构完。如果现在用模型来做估计一个人两周就能搞定。这中间的差距说白了就是放权程度前者还是人在主导AI打下手后者是AI来主导人只管验收和把关两种方式出来的效率肯定不是一个量级的。那人的核心优势在哪里多数人的第一反应是懂业务但并不是。智商高的模型稍微熟悉下业务就可以把你代替掉。人的核心优势是能做最兼顾现实和理性的判断。AI更多是理性而非现实它给出的方案单从技术上看是没毛病的但落地的时候有很多东西是技术覆盖不到的比如人力够不够、上下游排期能不能配合、存量的历史包袱敢不敢动、变更窗口允不允许这些约束下有时候看起来次一点的方案反而是能落地的。所以充分放权的同时还是要做harness本质上就是为了满足各类人的需求让AI舍弃一些理性让结果更回归现实。其次是怎么判断哪些事情要由人来做也就是古法编程的适用边界笔者的判断标准是两块涉及私域知识、业务SOP需要由人介入把控的事情由人来做。倒不是模型学不会这些知识而是这类事情怎么判断要贴着现实来组织的共识、业务的权衡这些东西不是纯靠理性推导出来的。有执行效率要求的事情比如千万级数据的处理、高频的批量任务交给Agent写程序来做。模型直接推理一轮的成本跟时延比起跑一段代码没有优势。值得一提的是当前工作里最常见的形态并不是所有情况都Agentic执行而是在古法编程的工程基础上对特定的一些业务场景做AI驱动。这个形态是非常合理的因为就算让AI来搞AI也必然会自己写一堆代码先构建一些基础工程然后再在上面继续做事。所以为什么AI模型用在Coding场景最多因为就算让AI搭建一套虚拟业务它也会认为需要Coding的场景最多。除去这两块之外的事情都建议交给Agent。当然有一个前提私域知识虽然由人把控但把控的方式不是每件事都人工盯着而是把知识沉淀成Agent可消费的形态。这里要强调一点要把Agent做大规模的工程化底座的知识库也要做大规模的工程化这个非常重要。只把Agent工程化拉起来知识供给还停留在零散文档的阶段那规模化落地大概率是做不起来的。然后是知识预热。在执行效率有SLA的前提下能不能快速精准拿到需要的知识对Agent的效果提升非常重要。比起纯RAG或者把Reference堆在Prompt里更好的做法是把ProviderKBase和ConsumerAgent这个关系做好整体分三层第一层Agent在运行前主动去Claim自己需要的知识声明清楚这个Skill需要哪些知识、什么版本第二层KBase针对特定版本的Agent做预热把Claim到的知识提前准备好注入到Agent的运行上下文里第三层实在hit不到的才fallback到RAG兜底。这套机制的好处是知识消费从被动检索变成了主动声明给什么知识、什么版本、什么时机注入都是可控的而不是像纯RAG那样每次靠向量相似度赌一把召回质量。RAG就作为兜底不作为第一选择这样才能充分发挥私域知识库的优势。再往后是定制化模型。知识预热做的事情本质上是把知识放在模型外面用工程手段喂给模型那能不能直接把知识放进模型里面呢答案是可以的就是用冗余的知识对模型做进一步训练。这里说的冗余知识是知识库里使用频率高、跟业务场景强绑定的内容拿去做SFT或者继续预训练让模型一开始就懂这部分东西实战场景里的输出也会更加准确。当然定制化模型成本不低建议先把预热机制跑顺沉淀出哪些知识是高频消费的再针对性做定制化训练循序渐进。最后想多说几句给古法编程比较有经验的老手们根本无需担忧。你对于技术演进的判断就是让Agent/Skill发挥最大潜能的钥匙。你懂技术AI自然知道你想要什么对技术一知半解的话AI就只会在你的上限游走你想不到的东西模型也发挥不出来。所以与其焦虑被替代不如想想老手对技术演进的判断力在AI时代难道不是最为稀缺的harness么总体来看Agent和Skill跟工作的深度集成核心还是处理好人和模型的分工模型负责执行人负责做兼顾现实和理性的判断用harness让结果回归现实。知识层面则从被动RAG走向Provider/Consumer的预热再进一步走到定制化模型。最后再简单强调一下这篇文章本身也是笔者第一次极度充分借助Agent来写的从提纲到行文都是跟Agent来回打磨出来的也算是文中观点的一次实践了。充分放权但把握住核心的判断这便是Agent的Harness之道。