DeepSeek Harness Vision Toolkit 插件介绍

DeepSeek Harness 中的文本模型通常无法直接理解图像内容。如果需要让这些模型具备视觉能力,完成图像问答、长截图解析或 UI 恢复等任务,需要引入外部工具。mengruoa/dsh-vision-toolkit 正是为此设计的插件。它通过一套工具和 Skill,为 DeepSeek Harness 中的文本模型提供了视觉能力。

插件定位

这是一个给文本模型提供视觉能力的工具包。插件内包含视觉工具和 Skill,支持图像问答、长截图 OCR、UI 恢复和 GUI 视觉任务。维护者为 mengruoa,许可证为 MIT。

核心功能

插件提供以下能力:

  • 图像问答:直接对图片内容提问。
  • 长截图 OCR:处理包含大量文本的长截图。
  • UI 恢复:将截图重建为可编辑的代码或页面。
  • GUI 视觉任务:通过截图操作图形界面。
  • 视觉技能与工具:内置 Skill 引导 Agent 进行视觉任务,并提供多种视觉工具。
  • 多提供商支持:支持配置多个视觉提供商,并具备自动回退机制。

安装与启用

通过命令行安装插件。安装命令如下:

dsh plugin --profile web add @mengruo/dsh-vision-toolkit

也可以将其安装到 Headless Profile:

dsh plugin --profile headless add @mengruo/dsh-vision-toolkit

如果使用 DSH Desktop,由于内置安装有已知问题,建议打开 DSH Terminal 执行命令:

dsh plugin --profile desktop add @mengruo/dsh-vision-toolkit

安装后,重启 Web Profile,进入 Settings → Vision Toolkit 配置视觉提供商,并运行 Test vision model 确认连接。

典型用法

安装配置完成后,可以执行以下操作:

  • 在对话中直接粘贴图片并提问。
  • 将截图重建为 HTML 代码。
  • 将草图或设计稿转换为可用的前端页面。
  • 从截图恢复 UI 布局。
  • 通过截图来操作 GUI。

适用场景与注意

该插件适合需要让文本模型具备视觉能力的场景。注意该插件以当前 dsh 进程权限运行,安装前应检查源码与许可证。DSH Desktop 的内置插件市场存在已知安装问题,终端命令是更可靠的安装路径。

结尾

该插件为 DeepSeek Harness 增加了视觉处理能力,使其能够处理更复杂的视觉任务。项目地址:GitHub。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜