dsh-report-card:在隔離 Profile 裏給 DSH 插件做動態成績單

前言

在 DeepSeek Harness(DSH)裏挑插件或評估自研包時,常見做法是看 manifest、靜態掃描或目錄裏的質量分。這些手段能反映文件結構與元數據,但很難說清「裝上去之後」啓動慢多少、每輪對話 hook 多耗多少時間、請求裏多了多少 token、模型側多了哪些 tools 與風險面。

dsh-report-card(npm 包名 dsh-report-card,維護者 tespio,GitHub 倉庫 tespio/dsh-report-card)的定位是:在一次性 throwaway profile 裏安裝待測插件,啓動真實 harness,跑一輪腳本化 turn,把啓動增量、每輪開銷、上下文稅、能力面與靜態風險標記寫成可復現的「成績單」。分類上落在 DSH 插件目錄的工作流類;數字來自真實進程(牆鍾、子進程 CPU、實際發出的請求字節),而非源碼估算。與 dsh-plugin-scorecard、dsh-quality-score 等只讀包的靜態評分,以及 dsh-xray 等對當前已加載 profile 的計量不同,本插件針對候選插件在隔離環境裏做動態測量,可與現有工具互補。

這是什麼

一句話:dsh-report-card 是面向 DSH 插件的獨立動態基準工具——在 disposable DSH_HOME 中安裝 subject 插件,啓動 harness,對本地 fixture 完成固定一輪對話,輸出 boot delta、per-turn 組裝開銷、context tax、capability surface diff 與 static risk flags。

當前 npm 發佈版本爲 1.2.0(package.json),許可證 MIT,要求 Node.js >= 24.9.0,dsh >= 0.2.2-rc.1 < 0.3.0。社區目錄頁:dsh-report-card | SkillHub(與 DeepSeek / 幻方無官方從屬,僅爲社區插件站點)。

成績單裏有什麼

README 將各維度與測量方式整理爲下表(節選要點)。

維度 含義(資料原文)
Boot wall / Boot CPU / Launch 從進程啓動到 probe 報告插件樹組裝完成;CPU 爲子進程 user+system,作分級用的 boot figures
Turn / step 固定腳本 turn 上的 turn_start → turn_end、step_start → step_end
Assembly 從 session log 的 step/start 到請求抵達 fixture:prompt 組裝與序列化,插件 hook 主要所在階段,作 per-turn 分級依據
Context tax harness 實際發出的請求中模型可見字節(system + tools + messages),按文檔 4 字符/token 啓發式換算 token
Capability surface 相對無插件同 profile 的 diff:tools/schemas、prompt 段落大小、事件監聽、loader、prompt 變量等
Static risk flags 安裝腳本、二進制、網絡主機、子進程、動態代碼、寫文件、process.exit 等,附文件與行號;不執行代碼生成
Health ok、install-rejected、install-failed、boot-failed、turn-failed 等;未成功激活的插件記爲失敗卡,不算通過

每張卡以三種形式落盤:JSON(數據)、Markdown(可讀報告)、SVG(1200×900 自包含圖)。終端 TTY 下 CLI 可打印彩色框線卡;重定向流則輸出 Markdown。卡含樣本、摘要與可復現命令;對 canonical JSON 做 sha256(digest 字段除外),同目錄重跑可對比 drift。完整示例見倉庫 docs/example-card.md 與 docs/example-card.svg。

測量思路(隔離、無真模型、成對差分)

下面介紹 harness 側如何保證結果可對照、且不污染你的日常 profile。

  1. Fresh state:每次報告新建 DSH_HOME,從內置 headless 模板複製 profile rc-measured,工作目錄爲空;不打開你真實 profile。
  2. No model calls:DEEPSEEK_BASE_URL 指向本機 loopback fixture,返回固定一行 SSE 文本;turn 確定性強,請求體原文用於 context tax。
  3. No background noise:fixture 覆蓋層關閉會話標題生成與 telemetry;採樣前有丟棄式 warm-up 預熱文件緩存。
  4. Round-paired deltas:每次 subject 與前一輪 baseline 成對,delta 取成對差的中位數;分級只對超過機器噪聲底(成對差標準誤)的部分計分,原始數與噪聲底仍寫在卡上。

流程示意(摘自 README):

subject package → throwaway DSH_HOME / profile "rc-measured"
  → probe:dump surface(boot wall/CPU + surface)
  → turn:assembly/step + 捕獲發往 fixture 的 exact request

安裝與啓用

資料給出的官方安裝路徑是 bundle(同時裝依賴並在 profile bundle 列表裏啓用),不要用憑名稱拼出的 github:owner/repo 命令。

插件管理器(README 示例,install_bundle 的 target 版本以你實際選用的包版本爲準;npm 當前爲 1.2.0):

plugin_manager install_bundle  target: "dsh-report-card@1.0.0"
plugin_manager remove_bundle   target: "dsh-report-card"

終端向 profile 添加 bundle(README 原文):

dsh plugin --profile web add dsh-report-card

從本地 checkout 開發時可用目錄 spec,例如 file:C:/path/to/dsh-report-card;README 強調 install_bundle 纔是推薦路徑,因爲 bundle 經 profile 的 bundle 列表組合,而非僅 node_modules。Bundle 插入項 dsh-report-card 對外貢獻 一個 tool。

典型用法

會話內(面向模型的 tool)

在已啓用 bundle 的 session 中調用(README 示例,pluginSpec 換成你要測的包與版本):

report_card(pluginSpec: "dsh-trust-check@0.2.6", samples: 3)
report_cards_recent(limit: 10)

report_card 按需測量;report_cards_recent 讀取磁盤上的卡索引,可查看後臺自動跑出的最近結果。samples 控制採樣次數,與 README 中的成對差分邏輯一致。

終端 CLI

與同一套 harness 代碼路徑,適合 CI 或本地調試(README 截斷處保留的可復現示例):

node harness/cli.mjs ./test/fixtures/fake-plugin

將路徑或包 spec 換成你的 subject;TTY 下爲終端卡,非 TTY 偏 Markdown 流輸出。倉庫 package.json 中 npm run card 等價於 node harness/cli.mjs。

適用場景與注意

適合誰:在裝插件進日常 profile 之前,想對比多個候選的啓動與每輪開銷、上下文增量和能力面;需要與靜態 scorecard / trust-check 結論對照,用運行時讀數補全圖景的 DSH 用戶與插件作者。

務必注意:

  • 插件在當前 dsh 進程的權限下運行;安裝前請自行查閱源碼、許可證(本包 MIT)與靜態 risk flags 輸出,勿盲目信任目錄描述。
  • 測量在 throwaway profile 完成,不保證與複雜生產 profile 裏每一層疊加完全一致,但設計目標就是「候選插件隔離評測」。
  • 依賴 Node 24.9+ 與 README 聲明的 dsh 版本區間;環境不符時可能 install/boot 失敗,health 字段會如實標記。
  • SkillHub 目錄星標等展示數據以站點爲準;撰寫時 GitHub 星標爲 0,不代表功能缺失,僅反映倉庫曝光度。

結尾

dsh-report-card 把「裝候選插件 → 真 boot → 固定 turn → 抓請求」收成一張可哈希、可復現的成績單,補上生態裏「只讀包」和「只計量已加載 profile」工具留出的動態評測空白。要進一步看字段樣例與圖示,請打開倉庫文檔與示例卡;安裝與條目信息亦可從社區目錄進入。

  • 目錄頁:https://www.skillhub.cn/plugins/tespio/dsh-report-card
  • GitHub:https://github.com/tespio/dsh-report-card
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜