測一測:從編寫到評測的 Skill 創作與優化

前言

在 Cursor、Claude Code 等環境裏,Skill 靠 SKILL.md 把流程和約束交給 Agent。手寫一版不難,難的是改了幾輪之後:觸發是否穩定、同一套任務跑多次結果是否一致、描述裏哪句話在拖累命中率。社區裏已有不少「怎麼寫 Skill」的零散經驗,但很少把「寫、改、測、對標」放在同一條工作流裏。

下面介紹 SkillHub 社區 Skill 測一測(座標 @user_57f71de6/skill-creator-v2,包名 skill-creator-v2)。它面向「從零創建 Skill、編輯既有 Skill、跑評測與性能對標、優化描述以提升觸發準確度」這幾類需求,把創作和可觀測性放在一起處理。

這是什麼

測一測 是 SkillHub 上分類爲 ai-agent 的社區 Skill,當前版本 1.0.0,發佈者爲 user_57f71de6,來源標註爲 community。官方頁面與 API 入口分別爲:

  • SkillHub 頁面:https://www.skillhub.cn/skills/user_57f71de6/skill-creator-v2
  • API:https://api.skillhub.cn/user_57f71de6/skill-creator-v2

標籤 requires_api_key=false,表示按 SkillHub 元數據,不依賴額外 API Key 即可安裝使用。

官方簡介(英文原文要點):Create new skills, modify and improve existing skills, and measure skill performance. 適用於用戶要從零創建 Skill、編輯或優化已有 Skill、運行 eval 測試、用方差分析做性能 benchmark,或優化 Skill 描述以提高觸發準確度(triggering accuracy)的場景。

核心功能

以下能力均來自上述官方簡介與 SkillHub 頁面說明,不展開未公開的具體腳本或目錄結構。

  1. 新建 Skill:從空白起步,按通用 SKILL.md 思路組織技能說明與使用邊界。
  2. 修改與改進:在已有 Skill 上迭代內容、步驟與約束,而不是每次從零重寫。
  3. 評測(evals):對 Skill 跑測試,驗證在代表性任務上的表現。
  4. 性能對標(benchmark):測量 Skill 表現,並支持 variance analysis(方差分析),用於觀察多次運行之間的波動。
  5. 描述優化:針對 Skill 的 description / 觸發相關文案做優化,目標之一是提升 triggering accuracy(被正確觸發的概率)。

安裝與啓用

SkillHub 頁面給出的安裝方式是:讓 Agent 參照 SkillHub 安裝文檔,安裝座標 @user_57f71de6/skill-creator-v2。

若本機已安裝 skillhub CLI,可按文檔第三節安裝到當前 Agent 實際讀取的 skills 目錄(文檔強調必須用 --dir,否則默認裝到 ./skills/ 可能不會被識別):

command -v skillhub && skillhub --version

未安裝 CLI 時,文檔提供一鍵安裝(完整包或僅 CLI):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安裝本 Skill 示例(將 <skills 目錄> 換成你當前環境的路徑):

skillhub install @user_57f71de6/skill-creator-v2 --dir <skills 目錄>

SkillHub 安裝文檔列出的常用 skills 目錄包括:

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下的 .agents/skills/

不同客戶端路徑不同,以你正在使用的 Agent 爲準。公開資料未單獨寫明安裝後是否要重啓;若安裝後未出現在技能列表中,可對照所用客戶端文檔確認 skills 目錄與加載方式。

典型用法

公開頁面未提供逐步複製的 eval 命令或倉庫內腳本清單,典型用法應圍繞官方聲明的意圖,在對話中讓 Agent 加載 測一測 後執行對應任務。下列表述與官方簡介中的 use when 場景一致,便於復現「要做什麼」:

  1. 從零創建:說明目標場景與約束,例如希望 Agent 在用戶要從頭寫一個新 Skill 時啓用本 Skill,由技能內流程引導生成或完善 SKILL.md 結構。
  2. 編輯優化:指向已有 Skill 路徑或粘貼現有 SKILL.md,要求修改步驟、補充邊界條件或對齊團隊寫法。
  3. 跑 eval:明確要求 run evals to test a skill,用一組固定任務檢驗改動是否有效。
  4. benchmark 與方差:要求 benchmark skill performance with variance analysis,對同一 Skill 多次運行做對比,關注穩定性而不僅是單次結果。
  5. 觸發文案優化:要求 optimize a skill’s description for better triggering accuracy,針對描述與觸發相關字段做改寫並說明改動理由。

經過上面的步驟,價值在於把「寫 Skill」和「證明 Skill 好用、好觸發」綁在同一條鏈路上,而不是改完文檔就上線。

適用場景與注意

適合誰

  • 維護團隊內部 Skill、需要版本迭代與迴歸驗證的開發者。
  • 關心 Agent 是否會在正確場景自動選用某 Skill 的人(描述優化與觸發準確度)。
  • 希望用 eval / benchmark 量化改動影響、而不是憑感覺驗收的人。

限制與注意

  • 元數據 requires_api_key=false 僅表示 SkillHub 側未標記必需 Key;實際評測仍可能消耗你所用模型的配額,取決於運行環境。
  • 方差分析、eval 的具體實現細節以安裝後的 SKILL.md 爲準;本文未獲取到可引用的 SKILL 正文,不列舉內部命令或文件樹。
  • SkillHub 統計(截至頁面抓取):評分 100000,下載 2416,安裝數 0;安裝數爲平臺統計字段,不代表技能不可用,僅作參考。

結尾

測一測 把 Skill 的創建、改進、評測、對標和描述優化串成一條可重複的路徑,適合已經採用 SKILL.md 生態、又希望用數據而不是印象來驗收改動的團隊。安裝與詳情見 SkillHub:https://www.skillhub.cn/skills/user_57f71de6/skill-creator-v2 ,座標 @user_57f71de6/skill-creator-v2,版本 1.0.0。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜