前言¶

在智能體開發流程中，確保模型輸出符合預期是關鍵環節。傳統的測試依賴人工驗證，效率低且容易遺漏。DeepSeek Harness (DSH) 作爲一個插件化生態，將評估能力下沉爲可複用的 Skill。satan9394/dsh-llm-eval 便是爲此設計的工具，它將 LLM 評估的流程標準化，幫助開發者在模型迭代過程中快速定位問題。

這是什麼¶

這是一個 DSH 技能插件，隸屬於模型推理類別。項目由用戶 satan9394 維護。它主要用於對大模型（LLM）的生成結果進行自動化評估，覆蓋從忠實度、相關性到幻覺檢測的多個維度，是模型質量保障的重要輔助工具。

核心功能¶

該插件實現了以下評估維度：
* 忠實度：檢測模型輸出是否忠實於給定的指令或上下文。
* 相關性：評估回答內容與用戶查詢的相關程度。
* 測試集：支持基於特定測試集的批量評估流程。
* 幻覺檢測：識別模型生成內容中不存在於事實依據中的虛構信息。
* 迴歸守護：在模型迭代或微調後，快速檢測性能是否發生退化。

安裝與啓用¶

根據目錄記錄，該插件未提供預設的安裝命令。DSH 插件通常通過目錄鏈接或 GitHub 倉庫地址進行引入。
1. 訪問插件目錄頁：https://www.skillhub.cn/plugins/satan9394/dsh-llm-eval
2. 或訪問源碼倉庫：https://github.com/satan9394/dsh-llm-eval
3. 在 DSH 配置中添加相應的插件路徑或倉庫地址。

典型用法¶

作爲 DSH Skill 使用。在評估流程中，該插件會加載指定的測試集（如果配置支持），並對模型的響應進行打分或分類。具體命令調用方式需參考插件目錄或源碼中的文檔說明。

適用場景與注意¶

• 適用場景：需要建立自動化評估流水線的智能體項目；需要進行迴歸測試以防止模型性能下降的開發場景；對輸出質量有嚴格要求的業務邏輯。
• 注意：DSH 插件通常以當前運行的 DSH 進程權限執行，涉及敏感數據時需注意權限隔離。由於項目許可證信息爲空，使用前請務必檢查源碼與許可證條款。

總結¶

satan9394/dsh-llm-eval 爲 DSH 用戶提供了一套針對 LLM 輸出的評估工具集，涵蓋忠實度、幻覺檢測等核心指標。對於需要穩定模型性能的開發者而言，這是一個可落地的迴歸與質量檢查手段。詳細文檔與源碼請參考 GitHub。