SkillHub 評測驅動優化器:先讀評測原文,再只修點名缺陷
SkillHub 評測驅動優化器(@user_00c9b356/chenlin-skill-trace-optimizer,版本 1.0.1,分類 ai-agent)是社區發佈的 Skill,針對已拿到 SkillHub TRACE 評測報告(含 T/R/A/C/E 子項、綜合分、點名缺陷、改進建議)的開發者。它按'讀評測原文→提取點名真缺陷→映射最小修復→改 SKILL.md→發佈→記證據→重評驗證'的閉環執行,只處理評測點名缺陷,不按子項分數猜補,也不爲提分堆章節。觸發詞包括評測報告、評測反饋、TRACE、重評、優化這個 skill、skill 評分低、評測驅動優化;用戶只問從零寫 skill 時不觸發(屬 skillcreator),只貼報告不想改時先確認。標籤 requires_api_key=false。
閱讀全文dsh-touchstone:給 DSH 自改造補上評測這一環
DSH 支持插件化替換 prompt 與預設,但缺少「改完是否真的更好」的評測閉環。dsh-touchstone(試金石)用同一套 golden cases 並排跑 current 與 candidate,以 must contain、regex、LLM judge 等檢查加權打分,輸出 before→after 報告與留撤建議。僅通過 ctx.llm.stream() 調用模型,不 patch harness,支持 desktop 與 web 安裝。數據存於 ~/.dsh/touchstone/bench.json。適合 prompt 與 house rule 的文本層迴歸,不適合需真實副作用的工具改動驗證。
閱讀全文oh-my-knowledge:爲 prompt、RAG 與智能體提供可驗證的知識變更評估
OMK(oh-my-knowledge)是 lizhiyao 維護的 MIT 許可 CLI 與 DSH 插件,面向 prompt、RAG、skill、agent 與工作流的知識維護者。通過 doctor、eval、observe 閉環,在相同模型與樣本下對比知識產物版本,輸出可複查的發佈結論、失敗樣本與成本,並支持在 Studio 查看 DSH 任務軌跡。DSH 用戶可用 dsh plugin --profile web add oh-my-knowledge 裝入 web profile,在會話內執行 /omk eval 與 /omk observe。
閱讀全文