ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

AI 技能会不会翻车?skills4/skills 技能测试完整指南

AI 技能会不会翻车?skills4/skills 技能测试完整指南 AI 技能会不会翻车skills4/skills 技能测试完整指南【免费下载链接】skillsSkills Catalog for Codex项目地址: https://gitcode.com/GitHub_Trending/skills4/skills你装了一个技能给 Codex跑起来却偏了方向——这就是 skills4/skills 这个项目里「技能质量保障」要解的题目录里收了几十个 Codex 技能每一个在「敢接真实任务」之前都得先过三道关。先分清三道关技能会在哪翻车一个技能本质是「一个 SKILL.md 一组脚本 若干参考文档」的文件夹翻车点集中在三处结构歪SKILL.md 缺 frontmatter、name 用了大写、description 超长这类「表面问题」仓库自带校验脚本兜底脚本错scripts/里的代码才是真正干活的仓库明确要求必须真跑一遍再提交不能靠看代码猜行为偏Codex 加载技能后不检索、不引用、选错输出格式——这类问题肉眼最难发现得靠场景回放。3 分钟从零跑起来校验按顺序做三个动作拉取仓库看结构git clone https://gitcode.com/GitHub_Trending/skills4/skills写完技能先跑结构校验它会检查 frontmatter 格式、字段白名单、名字长度出错直接报具体原因python3 skills/.system/skill-creator/scripts/quick_validate.py skills/.curated/gh-address-comments再写场景测试。仓库里 skills/.curated/notion-research-documentation/evaluations/ 有现成模板一份 JSON 就是一个场景包含query用户原话、expected_behavior应分步发生什么、success_criteria通过线画在哪。结果怎么读失败处才是改进步别只看通过与否看它挂在哪一步校验不过报错信息会点名字段改完重跑秒级完成场景不过先对照expected_behavior定位偏差——是检索词不对、格式选错还是文档没落地再决定改 SKILL.md 措辞还是 references跨模型回归评估说明里写明了要在 Haiku、Sonnet、Opus 上各跑一遍只在单一模型稳定的技能不算合格。新手最容易踩的三个坑⚠️success_criteria 写得太虚。「文档质量好」不是判据「至少引用 3 个来源、标题含日期」才是。只跑快乐路径。给输入文件缺失、查询为空各补一个边界场景能拦下大部分低级问题。仓库已标注弃用。README 写明了技能示例正迁移到官方 plugins 仓库动手回归前先确认目标避免白干。校验不是做一次就完事每次改 SKILL.md 或新增脚本都重跑一遍技能才真正握在你手里。【免费下载链接】skillsSkills Catalog for Codex项目地址: https://gitcode.com/GitHub_Trending/skills4/skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表