DeepSeek Harness 插件:dsh-vision-plugin

前言

DeepSeek Harness(DSH)通过插件机制扩展功能。在多模态对话场景中,用户常需上传图片并人工描述其内容,这增加了操作成本且描述可能不精确。dsh-vision-plugin 解决了这个问题,通过在发送消息前自动转述图片内容并注入描述,降低了多模态交互的门槛。

插件介绍

该插件由开发者 zcma11 维护,属于模型推理类别。其核心逻辑是:用户在聊天框上传或粘贴图片,发送时通过视觉模型(DashScope)或 Windows 离线 OCR 转述图片内容,并将描述自动插入到消息开头。

安装与启用

使用 DSH 官方提供的插件管理命令进行安装:

npx @deepseek-ai/dsh plugin --profile web add dsh-vision-plugin

注意事项:如果在使用 pnpm 9 时遇到 ERR_PNPM_ADDING_TO_ROOT 错误,需要在命令末尾追加 --workspace-root 参数。

使用方法

上传与粘贴图片

在聊天输入框的工具栏中,点击对应图标选择图片,或直接使用 Ctrl+V 粘贴。支持的格式包括截图(如 QQ 截图、系统截图),BMP 图片会自动转换为 PNG。

配置视觉模型

由于纯 OCR 模式不依赖外部模型,仅视觉转述模式需要配置。请进入 设置 -> 通用 -> 视觉转述模型,从下拉框中选择支持图片输入的模型(例如 dashscope/qwen3.6-plus),并确保已配置 DASHSCOPE_API_KEY。

发送与转述

  1. 选择模式:
    - 点击 📝(纯 OCR) 按钮:仅调用 Windows 内置 OCR 引擎,离线运行。
    - 点击 🖼️(视觉转述) 按钮 或 粘贴图片:仅调用视觉模型进行转述。

  2. 发送过程:
    - 转述期间,输入框上方预览条会显示“⏳ 正在解析图片…”,此时会拦截新的发送请求。
    - 转述成功后,消息内容会自动以 【解析了提供图片,图片内容是<描述>】 开头,后接你的原文,预览条随后自动清除。
    - 转述失败时,消息不会发送,顶部会弹出红色提示,明确区分是“视觉模型调用失败”还是“OCR 识别失败”。

适用场景与注意事项

  • 适用场景:适合需要在 DSH 中进行多模态对话的开发者或用户。
  • 系统依赖:纯 OCR 功能依赖 Windows 10+ 及 PowerShell 5.1,且插件在 Windows 环境下验证。
  • 安全与存储:图片仅以 base64 格式存储在内存中,不落盘,符合安全隔离要求。
  • 模式路由:插件采用严格路由策略,OCR 按钮仅 OCR,视觉按钮/粘贴仅视觉模型,不做自动降级处理。

结语

dsh-vision-plugin 通过自动化图片解析与描述注入,简化了多模态交互流程。更多细节与源码可访问 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜