DeepSeek Harness 中的文本模型通常无法直接理解图像内容。如果需要让这些模型具备视觉能力,完成图像问答、长截图解析或 UI 恢复等任务,需要引入外部工具。mengruoa/dsh-vision-toolkit 正是为此设计的插件。它通过一套工具和 Skill,为 DeepSeek Harness 中的文本模型提供了视觉能力。
插件定位¶
这是一个给文本模型提供视觉能力的工具包。插件内包含视觉工具和 Skill,支持图像问答、长截图 OCR、UI 恢复和 GUI 视觉任务。维护者为 mengruoa,许可证为 MIT。
核心功能¶
插件提供以下能力:
- 图像问答:直接对图片内容提问。
- 长截图 OCR:处理包含大量文本的长截图。
- UI 恢复:将截图重建为可编辑的代码或页面。
- GUI 视觉任务:通过截图操作图形界面。
- 视觉技能与工具:内置 Skill 引导 Agent 进行视觉任务,并提供多种视觉工具。
- 多提供商支持:支持配置多个视觉提供商,并具备自动回退机制。
安装与启用¶
通过命令行安装插件。安装命令如下:
dsh plugin --profile web add @mengruo/dsh-vision-toolkit
也可以将其安装到 Headless Profile:
dsh plugin --profile headless add @mengruo/dsh-vision-toolkit
如果使用 DSH Desktop,由于内置安装有已知问题,建议打开 DSH Terminal 执行命令:
dsh plugin --profile desktop add @mengruo/dsh-vision-toolkit
安装后,重启 Web Profile,进入 Settings → Vision Toolkit 配置视觉提供商,并运行 Test vision model 确认连接。
典型用法¶
安装配置完成后,可以执行以下操作:
- 在对话中直接粘贴图片并提问。
- 将截图重建为 HTML 代码。
- 将草图或设计稿转换为可用的前端页面。
- 从截图恢复 UI 布局。
- 通过截图来操作 GUI。
适用场景与注意¶
该插件适合需要让文本模型具备视觉能力的场景。注意该插件以当前 dsh 进程权限运行,安装前应检查源码与许可证。DSH Desktop 的内置插件市场存在已知安装问题,终端命令是更可靠的安装路径。
结尾¶
该插件为 DeepSeek Harness 增加了视觉处理能力,使其能够处理更复杂的视觉任务。项目地址:GitHub。