前言¶
DeepSeek Harness(DSH)采用插件化架构,旨在扩展模型推理能力。纯文本模型无法直接处理图片输入。dsh-image-router 插件解决了这一痛点:它会在提示词准入前,利用你指定的视觉模型将图片转换为文字,从而让纯文本模型也能接收到“带图”的上下文。整个过程不改变会话模型的选择器,历史记录中留下的也是文字分析结果。
安装与前置要求¶
安装前需满足以下条件:
* 已安装 DeepSeek Harness (DSH) 0.1.5-rc.1 及以上版本
* 系统环境 Node.js ≥ 20
执行以下命令安装并启动:
dsh plugin --profile web add dsh-image-router && dsh web
安装完成后,dsh web 进程会自动加载插件。配置更改通常无需重启,但代码层面的更新需要重启进程。
核心功能¶
- 提示词里的图片自动转文字:插件拦截贴图或上传的图片,在提示词准入前进行旁路分析,将图片替换为文字描述。
- 会话模型不变:插件不会修改
model或selection字段,模型选择器不会跳变,用户界面不会出现[model changed]提示。 - describe_image 工具:提供
describe_image(file_path, question?)工具,允许任何模型分析本地磁盘上的图片文件。 - 两种给视觉模型的方式:
- 选择已有模型:从“设置 → 模型”中选择已配置好的支持图片的模型。
- 自定义端点:填写自定义的 API 地址、模型名和 API Key。
- 图形界面配置,保存即生效:通过“设置 → 插件 → 插件配置 → image-router”进行配置,修改后立即生效。
- API Key 只写不落盘:密钥仅写入凭证库引用,不回显、不写入配置文件、不进入审计日志。
- 失败即放行:视觉模型调用失败(如超时、报错)时,插件会保留原请求,不屏蔽错误。
- 审计文件记录:记录挂载状态、每次分析使用的路由、重试情况及失败原因,便于排查。
- 测试覆盖:包含 68 个单元测试。
典型用法¶
- 配置视觉模型:打开“设置 → 插件 → 插件配置 → image-router”。在“视觉模型”下拉框中选择一个支持图片的模型(如 GPT-4o、Claude 3.5 Sonnet 等)。若没有现成的,可切换至“自定义端点”填写相关信息,点击保存。
- 使用工具:在任意模型的对话中,使用
describe_image(file_path, question?)工具。例如,输入describe_image('/path/to/image.png', '这是什么?')即可让当前模型分析本地图片。 - 粘贴图片:在会话中粘贴图片,插件会自动将其转换为文字分析结果。
注意事项¶
- 版本兼容性:插件需要 DSH 0.1.5-rc.1+。旧版本(如 0.1.0)可能导致“设置 → 模型”页加载失败。
- Node.js 版本:必须使用 Node.js ≥ 20。
- pnpm 11 特定问题:使用 pnpm 11 时,
dsh-image-router@latest可能因minimumReleaseAge配置导致无法安装。此时需显式指定版本号,例如dsh plugin --profile web add dsh-image-router@0.4.4。
结尾¶
该插件通过在提示词准入前对图片进行旁路处理,实现了纯文本模型与视觉能力的兼容。它不仅支持命令行安装,还提供了完善的审计与工具支持,适合需要在纯文本模型上处理图片场景的开发者。