测一测:从编写到评测的 Skill 创作与优化

前言

在 Cursor、Claude Code 等环境里,Skill 靠 SKILL.md 把流程和约束交给 Agent。手写一版不难,难的是改了几轮之后:触发是否稳定、同一套任务跑多次结果是否一致、描述里哪句话在拖累命中率。社区里已有不少「怎么写 Skill」的零散经验,但很少把「写、改、测、对标」放在同一条工作流里。

下面介绍 SkillHub 社区 Skill 测一测(坐标 @user_57f71de6/skill-creator-v2,包名 skill-creator-v2)。它面向「从零创建 Skill、编辑既有 Skill、跑评测与性能对标、优化描述以提升触发准确度」这几类需求,把创作和可观测性放在一起处理。

这是什么

测一测 是 SkillHub 上分类为 ai-agent 的社区 Skill,当前版本 1.0.0,发布者为 user_57f71de6,来源标注为 community。官方页面与 API 入口分别为:

  • SkillHub 页面:https://www.skillhub.cn/skills/user_57f71de6/skill-creator-v2
  • API:https://api.skillhub.cn/user_57f71de6/skill-creator-v2

标签 requires_api_key=false,表示按 SkillHub 元数据,不依赖额外 API Key 即可安装使用。

官方简介(英文原文要点):Create new skills, modify and improve existing skills, and measure skill performance. 适用于用户要从零创建 Skill、编辑或优化已有 Skill、运行 eval 测试、用方差分析做性能 benchmark,或优化 Skill 描述以提高触发准确度(triggering accuracy)的场景。

核心功能

以下能力均来自上述官方简介与 SkillHub 页面说明,不展开未公开的具体脚本或目录结构。

  1. 新建 Skill:从空白起步,按通用 SKILL.md 思路组织技能说明与使用边界。
  2. 修改与改进:在已有 Skill 上迭代内容、步骤与约束,而不是每次从零重写。
  3. 评测(evals):对 Skill 跑测试,验证在代表性任务上的表现。
  4. 性能对标(benchmark):测量 Skill 表现,并支持 variance analysis(方差分析),用于观察多次运行之间的波动。
  5. 描述优化:针对 Skill 的 description / 触发相关文案做优化,目标之一是提升 triggering accuracy(被正确触发的概率)。

安装与启用

SkillHub 页面给出的安装方式是:让 Agent 参照 SkillHub 安装文档,安装坐标 @user_57f71de6/skill-creator-v2。

若本机已安装 skillhub CLI,可按文档第三节安装到当前 Agent 实际读取的 skills 目录(文档强调必须用 --dir,否则默认装到 ./skills/ 可能不会被识别):

command -v skillhub && skillhub --version

未安装 CLI 时,文档提供一键安装(完整包或仅 CLI):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装本 Skill 示例(将 <skills 目录> 换成你当前环境的路径):

skillhub install @user_57f71de6/skill-creator-v2 --dir <skills 目录>

SkillHub 安装文档列出的常用 skills 目录包括:

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

不同客户端路径不同,以你正在使用的 Agent 为准。公开资料未单独写明安装后是否要重启;若安装后未出现在技能列表中,可对照所用客户端文档确认 skills 目录与加载方式。

典型用法

公开页面未提供逐步复制的 eval 命令或仓库内脚本清单,典型用法应围绕官方声明的意图,在对话中让 Agent 加载 测一测 后执行对应任务。下列表述与官方简介中的 use when 场景一致,便于复现「要做什么」:

  1. 从零创建:说明目标场景与约束,例如希望 Agent 在用户要从头写一个新 Skill 时启用本 Skill,由技能内流程引导生成或完善 SKILL.md 结构。
  2. 编辑优化:指向已有 Skill 路径或粘贴现有 SKILL.md,要求修改步骤、补充边界条件或对齐团队写法。
  3. 跑 eval:明确要求 run evals to test a skill,用一组固定任务检验改动是否有效。
  4. benchmark 与方差:要求 benchmark skill performance with variance analysis,对同一 Skill 多次运行做对比,关注稳定性而不仅是单次结果。
  5. 触发文案优化:要求 optimize a skill’s description for better triggering accuracy,针对描述与触发相关字段做改写并说明改动理由。

经过上面的步骤,价值在于把「写 Skill」和「证明 Skill 好用、好触发」绑在同一条链路上,而不是改完文档就上线。

适用场景与注意

适合谁

  • 维护团队内部 Skill、需要版本迭代与回归验证的开发者。
  • 关心 Agent 是否会在正确场景自动选用某 Skill 的人(描述优化与触发准确度)。
  • 希望用 eval / benchmark 量化改动影响、而不是凭感觉验收的人。

限制与注意

  • 元数据 requires_api_key=false 仅表示 SkillHub 侧未标记必需 Key;实际评测仍可能消耗你所用模型的配额,取决于运行环境。
  • 方差分析、eval 的具体实现细节以安装后的 SKILL.md 为准;本文未获取到可引用的 SKILL 正文,不列举内部命令或文件树。
  • SkillHub 统计(截至页面抓取):评分 100000,下载 2416,安装数 0;安装数为平台统计字段,不代表技能不可用,仅作参考。

结尾

测一测 把 Skill 的创建、改进、评测、对标和描述优化串成一条可重复的路径,适合已经采用 SKILL.md 生态、又希望用数据而不是印象来验收改动的团队。安装与详情见 SkillHub:https://www.skillhub.cn/skills/user_57f71de6/skill-creator-v2 ,坐标 @user_57f71de6/skill-creator-v2,版本 1.0.0。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye