前言¶
隨着會話數據的積累，判斷模型在哪些任務上表現穩定、在哪些環節容易“翻車”，往往需要人工翻閱大量日誌。dsh-cap-profile 將本地的會話歷史轉化爲可視化的能力畫像與錯誤率儀表盤，直接回答“哪個模型在哪些事上穩、哪些事上老翻車”的問題。
是什麼¶
這是 DeepSeek Harness (DSH) 的一個插件，由 Ansonfishing 維護。它將 ~/.dsh/sessions 的會話歷史轉化爲工具使用和錯誤率儀表盤，支持按模型、時間範圍篩選，並提供多模型對比視圖。
安裝與啓用¶
前提條件：DSH (需帶 web) + pnpm; Node ≥ 24 (用於 zstd 解碼)。
1、切換到 DSH web profile 目錄：
cd ~/.dsh/profiles/web
2、安裝插件：
pnpm add github:Ansonfishing/dsh-cap-profile
3、配置與重啓：
在 package.json 的 dsh.profile.bundles 數組裏加上 "dsh-cap-profile"，重啓 dsh。
啓用後，會話視圖會出現「能力畫像」tab。首次打開時觸發後臺首掃（大歷史約 20 秒級），期間先顯示 mock 數據。
核心功能¶
模型對比表
展示每個模型（provider / model）的會話數、工具調用數、錯誤數、錯誤率。
工具 Top5 / 錯誤簽名 Top5
列出每模型最常用的工具和最高頻的錯誤簽名。工具錯誤率按顏色標記：
* 0：灰色
* <5%：琥珀色
* ≥5%：紅色
錯誤簽名通常爲歸一化後的高頻模式，例如 bash: [exit code: 137] OOM，用於快速定位模型“易翻車”的環節。
多模型對比 (≤4)
勾選多個模型進入對比視圖。視圖以卡片形式展示每模型數據：
* 收斂指標對照（best/worst/top 標色）
* 工具 Top-10 矩陣
* 高頻錯誤 Top-5
* 每日調用/錯誤趨勢 mini 豎條（當日錯誤紅色標註）
當有效勾選數量 < 2 時，自動回退到單模型詳情視圖。
時間範圍篩選
支持全部 / 近 7 / 近 30 / 近 90 天 / 今天 / 昨天。錨點爲數據中最大日期，對系統時鐘漂移免疫。
安全與性能
* 只讀：只分析展示，從不修改會話數據。路由校驗客戶端頭 + Origin/Referer，跨源請求返回 403。
* 增量緩存：基於 per-file mtime 基線，後臺 60s 增量更新 / 24h 全量刷新。首掃未完成時路由不阻塞，自動回退上次緩存或 mock。
* 零運行時依賴：純 Node.js 實現。
典型用法¶
1、篩選時間範圍：在時間篩選器中選擇“近 30 天”，觀察模型在最近一個月的表現波動。
2、多模型對比：勾選 2-4 個模型（如 GPT-4o、DeepSeek-V3），進入對比視圖，查看各模型在工具調用和錯誤率上的收斂指標差異。
3、定位故障點：在模型詳情頁查看“錯誤簽名 Top5”，例如發現某模型頻繁出現 bash: [exit code: 137] OOM，即可針對性地調整該模型的資源限制或提示詞。
注意事項¶
插件以當前 dsh 進程權限運行，分析過程僅讀取 ~/.dsh/sessions。如需在無 DSH 環境下調試面板，可 clone 倉庫後直接在瀏覽器打開 test/harness/index.html，通過 ?scenario=mock|live|empty|error 切換數據場景。
