在使用 DeepSeek Harness 进行评估时,大模型通常直接输出文本结果,缺乏严格的计算逻辑和可复现性。dsh-reckoner 插件提供了一个确定性计算引擎,旨在将推理过程转化为结构化的程序计算,而非单纯的文本生成。
这是一个由 curtainsmall 维护的模型推理类插件。它作为 DeepSeek Harness 的扩展,解决评估过程中数值计算不可控的问题,确保每一步都有明确的公式和逻辑。
核心功能¶
该插件提供了一套确定性计算工具,主要包括:
- 确定性计算引擎:强制 LLM 使用程序而非文本生成来处理评估结果。
- 公式评估工具:支持
set、get、eval等命令,用于写入、读取和计算数值。 - 记录管理:通过
record_start、record_end和record_message创建和管理计算会话的记录。 - Web 搜索集成:提供
reckoner-with-search预设,允许 LLM 通过搜索工具获取外部知识。 - 文章生成:支持将闭合记录导出为 Markdown 或 LaTeX 格式的独立文章。
- 量纲分析:使用 SI 基本单位处理数值的量纲。
安装与启用¶
使用官方命令安装插件:
dsh plugin --profile <profile> add dsh-reckoner
安装后,插件会提供两个预设供选择:
* reckoner:仅包含记录工具和评估工具,所有知识来源于 LLM。
* reckoner-with-search:包含上述工具以及 Web 搜索工具。
典型用法¶
在计算会话中,LLM 通过调用以下工具与引擎交互:
- 写入与读取:使用
set写入数值(支持数字、复数、数组或对象,null用于删除),使用get读取数值。 - 公式计算:使用
eval将公式结果写入目标槽位。公式语法仅支持+ - * / ^以及$符号和常量。 - 过程记录:使用
record_start和record_end创建记录,使用record_message记录过程中的解释性信息。 - 外部知识:在
reckoner-with-search预设中,LLM 可以使用search工具查询网络。 - 结果输出:计算完成后,闭合的记录可被格式化为 Markdown 或 LaTeX 文档。
适用场景与注意事项¶
- 环境要求:需要 Node.js 版本 >= 20。
- 权限限制:标准预设不提供 Shell、文件系统、网络或子代理访问权限。每个宿主进程仅运行一个引擎实例。
- 数据类型:引擎支持数值、复数、数组或对象。
- 错误处理:公式不支持比较和逻辑判断,若条件不足,LLM 应停止并指出。
该插件为 DSH 评估提供了严谨的计算环境。更多细节请参考插件目录页或 GitHub 仓库。