dsh-eval-harness:讓 Agent 應用評測的每個數字可復現

dsh-eval-harness 是 LTJ002 維護的 DSH 技能包(非宿主功能插件),爲 Agent 應用提供可復現評測方法學與可運行腳本:判據只取審計表、結構化日誌等外部事實,正向加反向雙向斷言,基線按絕對條數對比,offline / live-strict / live 三檔嚴格度中安全類零容忍,並用變異測試驗證評測器自身沒壞。覆蓋 RAG 檢索、RAG 生成、工具調用、提示詞安全與多輪對話,框架無關,只要求對話可編程訪問與副作用可查詢。安裝命令爲 dsh plugin add https://github.com/LTJ002/dsh-eval-harness,數據集必須整體替換,eval_online.py 的三個接口需按項目改寫,退出碼 2 表示結果不可用而非質量失敗。文檔爲中文,MIT 許可證,版本 1.0.0。

閱讀全文