前言¶

在 Cursor、Claude Code 等环境里，Skill 往往靠 SKILL.md 的 frontmatter 和正文驱动触发与执行。手写一版能跑，并不等于在真实对话里稳定被选中、输出也符合预期。常见做法是改几轮提示词就上线，缺少可复现的测试集、基线对比和量化指标，description 是否「该触发时触发」更难验证。

下面介绍的 ac（SkillHub 坐标 @user_1a94ec14/ac，v1.0.0）是一套基于通用 SKILL.md 格式的社区 Skill，分类为 ai-agent。它把「起草 → 跑用例 → 人工评审 → 改稿 → 再测」串成闭环，并附带基准聚合、评审页和 description 优化脚本，适合需要系统化打磨 Skill 的开发者。

这是什么¶

ac 在 SkillHub 上的简介与包内说明一致：用于从零创建 Skill、修改与改进已有 Skill，并衡量 Skill 表现。典型触发场景包括：用户要新建 Skill、编辑或优化现有 Skill、跑 eval 验证、做带方差分析的 benchmark，或优化 description 以提高触发准确率。

维护方：社区发布者 user_1a94ec14，来源标注为 community。
格式：标准 Skill 目录结构，入口为 SKILL.md（包内 frontmatter 的 name 为 skill-creator，与商店展示名 ac 并存，以安装目录 @user_1a94ec14/ac 为准）。
依赖：SkillHub 标签 requires_api_key=false；部分高级能力（如 description 优化循环）依赖本机 claude CLI（claude -p），无子 Agent 的环境会按文档跳过相应步骤。

核心功能¶

以下能力均来自已安装的 v1.0.0 包内 SKILL.md 与配套脚本，按工作流归纳。

创建与编写 Skill¶

意图采集：澄清 Skill 要做什么、何时触发、输出形态，是否建立可客观验证的测试用例。
编写 SKILL.md：必填 YAML frontmatter（name、description）；正文说明执行步骤；可选 scripts/、references/、assets/ 做渐进式加载。
测试用例：将 2～3 条真实用户式 prompt 写入技能目录下的 evals/evals.json（字段见 references/schemas.md）。

评测与基准（适合具备子 Agent 的环境）¶

在技能目录同级建立 <skill-name>-workspace/，按 iteration-N/eval-<id>/ 组织结果。
每个用例同一轮启动「带 Skill」与「基线」两次运行（新建 Skill 时基线为无 Skill；改进已有 Skill 时可对旧版本快照对比）。
运行过程中为用例编写 assertion，写入 eval_metadata.json 与 evals/evals.json；从任务通知中抓取 timing.json（token、耗时）。
使用 agents/grader.md 打分，执行聚合：

python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>

用 eval-viewer/generate_review.py 打开 Outputs / Benchmark 双栏评审页；用户提交后读取 feedback.json 驱动下一轮改稿。

描述（description）优化¶

针对 frontmatter 中的 description（触发主通道）：

准备约 20 条「应触发 / 不应触发」的真实查询 JSON。
可用 assets/eval_review.html 模板与用户共同修订 eval 集。
后台运行优化循环（示例）：

python -m scripts.run_loop \
  --eval-set <path-to-trigger-eval.json> \
  --skill-path <path-to-skill> \
  --model <model-id-powering-this-session> \
  --max-iterations 5 \
  --verbose

脚本将 eval 划分为训练/测试集、多次采样触发率，并输出含 best_description 的报告。

打包与其它¶

python -m scripts.package_skill <path/to/skill-folder>：生成 .skill 包（需环境提供 present_files 等能力时，文档会引导交付路径）。
可选盲评对比：见 agents/comparator.md、agents/analyzer.md。
Claude.ai / Cowork：文档单列适配说明（如无子 Agent 则串行自测、无显示器时用 generate_review.py --static 等）。

安装与启用¶

SkillHub 页面给出的安装指引是：参照 SkillHub 安装文档，安装坐标 @user_1a94ec14/ac。

1. 安装 SkillHub CLI（若尚未安装）¶

command -v skillhub && skillhub --version

未安装时可执行：

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

2. 安装到当前 Agent 的 skills 目录¶

安装时必须用 --dir 指向当前 Agent 识别的 skills 目录，否则默认落在 ./skills/ 可能不会被加载。

skillhub install @user_1a94ec14/ac --dir <你的 skills 目录>

常见路径（来自 SkillHub 安装文档）：

Cursor：~/.cursor/skills/
Claude Code：~/.claude/skills/
Codex：~/.codex/skills/ 或项目下 .agents/skills/

安装完成后按你所用客户端的规则重启或刷新 Skill 列表。本 Skill 不要求 API Key（requires_api_key=false）。

说明：商店页与抓取资料中的评分、下载量会随时间变化；撰写时 SkillHub 页面显示评分为 100000、下载 742 次，与线索中的数字不一致时以 SkillHub 页面为准。

典型用法¶

从零做一个 Skill¶

在对话中说明目标能力，让 Agent 在加载 ac 后走「Capture Intent → 写 SKILL.md → 写 evals/evals.json」。
在 workspace 下跑 iteration-1，并行 with_skill / without_skill（或旧版快照）。
聚合 benchmark 并生成评审页：

nohup python <ac-安装路径>/eval-viewer/generate_review.py \
  <workspace>/iteration-1 \
  --skill-name "my-skill" \
  --benchmark <workspace>/iteration-1/benchmark.json \
  > /dev/null 2>&1 &

根据 feedback.json 改 Skill，重复 iteration；满意后再考虑 run_loop 优化 description。

仅优化已有 Skill 的触发文案¶

与用户共同定稿 trigger eval JSON（含边缘「近失」负例）。
对现有 Skill 目录执行 scripts.run_loop，将返回的 best_description 写回 SKILL.md frontmatter。

evals.json 最小示例¶

{
  "skill_name": "example-skill",
  "evals": [
    {
      "id": 1,
      "prompt": "User's task prompt",
      "expected_output": "Description of expected result",
      "files": []
    }
  ]
}

完整字段与 grading.json、benchmark.json 结构见包内 references/schemas.md。

适用场景与注意¶

适合谁

需要为团队或自己维护多条 Agent Skill，并希望用统一流程做回归与版本对比的开发者。
已遇到「Skill 偶尔不触发」或「触发过于宽泛」，愿意用 eval 集和 run_loop 调 description 的场景。
使用 Claude Code、Cowork 等支持子 Agent 的环境，能发挥并行跑例与基线对比的价值。

限制与注意

核心 benchmark 依赖子 Agent 与（部分步骤）claude CLI；纯 Claude.ai 文档要求降级为自测 + 定性反馈，并跳过无意义的基线对比。
无图形界面时需用 generate_review.py --static <output_path>，反馈以下载的 feedback.json 为准。
改进 Skill 时要避免过拟合少数 eval；文档强调从反馈中抽象出可泛化规则，并把重复出现的脚本收敛到 scripts/。
安装时务必 --dir 指向正确 skills 目录；社区包版本当前为 1.0.0，升级以 SkillHub 为准。

结尾¶

ac 把 Skill 工程从「单次写稿」拉成可重复的创建、评测、人工评审与 description 优化流程，并自带聚合脚本与 HTML 评审工具。若你正在维护 Cursor / Claude Code 上的 SKILL.md，可从 SkillHub 安装 @user_1a94ec14/ac，再按包内 SKILL.md 的阶段判断自己处于起草、评测还是优化环节。

SkillHub 页面：https://www.skillhub.cn/skills/user_1a94ec14/ac
API 坐标页：https://api.skillhub.cn/user_1a94ec14/ac
安装说明：https://skillhub.cn/install/skillhub.md

ac：面向 Agent 的 Skill 创建、评测与迭代工具

前言¶

这是什么¶

核心功能¶

创建与编写 Skill¶

评测与基准（适合具备子 Agent 的环境）¶

描述（description）优化¶

打包与其它¶

安装与启用¶

1. 安装 SkillHub CLI（若尚未安装）¶

2. 安装到当前 Agent 的 skills 目录¶

典型用法¶

从零做一个 Skill¶

仅优化已有 Skill 的触发文案¶

evals.json 最小示例¶

适用场景与注意¶

结尾¶

精选优惠券

ac：面向 Agent 的 Skill 创建、评测与迭代工具

前言¶

这是什么¶

核心功能¶

创建与编写 Skill¶

评测与基准（适合具备子 Agent 的环境）¶

描述（description）优化¶

打包与其它¶

安装与启用¶

1. 安装 SkillHub CLI（若尚未安装）¶

2. 安装到当前 Agent 的 skills 目录¶

典型用法¶

从零做一个 Skill¶

仅优化已有 Skill 的触发文案¶

evals.json 最小示例¶

适用场景与注意¶

结尾¶

精选优惠券

相關文章