在使用 DeepSeek Harness 進行評估時，大模型通常直接輸出文本結果，缺乏嚴格的計算邏輯和可復現性。dsh-reckoner 插件提供了一個確定性計算引擎，旨在將推理過程轉化爲結構化的程序計算，而非單純的文本生成。
這是一個由 curtainsmall 維護的模型推理類插件。它作爲 DeepSeek Harness 的擴展，解決評估過程中數值計算不可控的問題，確保每一步都有明確的公式和邏輯。
核心功能¶
該插件提供了一套確定性計算工具，主要包括：
- 確定性計算引擎：強制 LLM 使用程序而非文本生成來處理評估結果。
- 公式評估工具：支持
set、get、eval等命令，用於寫入、讀取和計算數值。 - 記錄管理：通過
record_start、record_end和record_message創建和管理計算會話的記錄。 - Web 搜索集成：提供
reckoner-with-search預設，允許 LLM 通過搜索工具獲取外部知識。 - 文章生成：支持將閉合記錄導出爲 Markdown 或 LaTeX 格式的獨立文章。
- 量綱分析：使用 SI 基本單位處理數值的量綱。
安裝與啓用¶
使用官方命令安裝插件：
dsh plugin --profile <profile> add dsh-reckoner
安裝後，插件會提供兩個預設供選擇：
* reckoner：僅包含記錄工具和評估工具，所有知識來源於 LLM。
* reckoner-with-search：包含上述工具以及 Web 搜索工具。
典型用法¶
在計算會話中，LLM 通過調用以下工具與引擎交互：
- 寫入與讀取：使用
set寫入數值（支持數字、複數、數組或對象，null用於刪除），使用get讀取數值。 - 公式計算：使用
eval將公式結果寫入目標槽位。公式語法僅支持+ - * / ^以及$符號和常量。 - 過程記錄：使用
record_start和record_end創建記錄，使用record_message記錄過程中的解釋性信息。 - 外部知識：在
reckoner-with-search預設中，LLM 可以使用search工具查詢網絡。 - 結果輸出：計算完成後，閉合的記錄可被格式化爲 Markdown 或 LaTeX 文檔。
適用場景與注意事項¶
- 環境要求：需要 Node.js 版本 >= 20。
- 權限限制：標準預設不提供 Shell、文件系統、網絡或子代理訪問權限。每個宿主進程僅運行一個引擎實例。
- 數據類型：引擎支持數值、複數、數組或對象。
- 錯誤處理：公式不支持比較和邏輯判斷，若條件不足，LLM 應停止並指出。
該插件爲 DSH 評估提供了嚴謹的計算環境。更多細節請參考插件目錄頁或 GitHub 倉庫。
