dsh-deepseek-account-vision:用 DeepSeek 账号给任意主模型补上识图

前言

在 DeepSeek Harness(DSH)里跑智能体时,主模型往往是纯文本路由:能读文件、能调工具,但 GUI 里贴一张截图或让模型「看一眼」本地图片,适配器会直接拒绝多模态输入。另一条路是单独配视觉大模型的 API Key 或账号,成本和配置都会多一层。

下面介绍社区插件 dsh-deepseek-account-vision(包名 @caesarloo/dsh-deepseek-account-vision):识图走你已登录的 DeepSeek 账号上的 DeepSeek-V4.1-Flash(模型 id deepseek-flash,1017 版),不需要额外 API Key,也不依赖独立 VLM 账号或图像处理库。它不把主模型变成多模态模型,而是把图片先转成文字,再交给原模型处理。

这是什么

维护者 caesarloo,在 DSH 社区目录中归类为模型推理。插件通过 Cordis patch 注册两类能力:

  1. 面向模型的工具 deepseek_vision(名称可配置)。
  2. 为每个已注册 provider 增加一条「自动识图」路由(默认 id 为 <provider>-vision)。

识图请求经 DSH 的 deepseek-account 路由发出,凭据由 DSH 账号服务管理,插件不保存登录信息。

核心功能

deepseek_vision 工具

任意主模型在会话里可调用该工具。入参支持:

  • 本地路径:image_path,格式限 PNG / JPEG / WebP / GIF。
  • 远程地址:image_url(http 或 https)。
  • 可选 prompt:原样传给视觉模型;省略则使用内置的全量转译提示。

返回字段包括 text、model、source、truncated。图片内容不会进入主模型上下文,只有转译后的文本会进入后续对话。

自动转译路由

在模型选择器里选用显示名为 「{原路由名} + 自动识图」 的条目(id 形如 <provider>-vision),照常附加图片即可。流程是:路由声明支持图片输入 → 每张图由 DeepSeek-V4.1-Flash 转写 → 原文本模型收到纯文本请求并正常作答。转译结果前缀默认为 [图片转译];失败且 failureMode 为 placeholder(默认)时,会插入 [图片转译失败: …] 标记,会话可继续。

性能与边界行为

  • 按图片内容哈希做进程内缓存(默认 200 条,可设为 0 关闭)。
  • 合并并发相同图片的请求;失败图片冷却 60 秒;单图识别默认超时 120000 ms,URL 下载默认 30000 ms。
  • 纯文本对话不经插件改写;已有原生识图能力的主模型无需为「看图」专门依赖本插件。

与内置 read_image 的分工:read_image 把图片块交给支持图像的模型;deepseek_vision 返回文本,供任意文本模型使用。

安装与启用

要求:DSH >= 0.2.1-rc.2(package 中 Node >= 22.19.0)、DSH 内已登录 DeepSeek 账号,以及 bundle 自带的 llm、attachments、fs 服务。

官方安装命令:

dsh plugin --profile <profile> add @caesarloo/dsh-deepseek-account-vision

若从本地检出目录安装,将包名换成项目目录路径即可。bundle 层安装后需重启 DSH 一次(bundle 层不支持热重载);开发期可用 patch 层 insert 指向插件入口,改代码可热加载。

在新会话的工具列表中确认出现 deepseek_vision,即表示工具已注册。

配置默认值在插件自带的 cordis.patch.yml;可在 profile 的 cordis.patch.yml 里用 - id: dsh-deepseek-account-vision 覆盖,例如 visionProvider、visionModel、autoTranscribe、failureMode 等(完整键表见 GitHub README)。

典型用法

场景一:主模型通过工具读图

模型调用工具,传入本地截图路径与可选提示:

{
  "image_path": "screenshot.png",
  "prompt": "逐字识别所有可见文字,并说明版式"
}

远程图片可只传 URL:

{ "image_url": "https://example.com/chart.png" }

场景二:纯文本主模型在 GUI 里贴图

在模型列表选择对应 provider 的「+ 自动识图」路由,附加图片后发送。主模型收到的已是带 [图片转译] 前缀的文本描述。

情况 建议
任意模型,图在文件或 URL deepseek_vision 工具
纯文本模型,GUI 附图 <provider>-vision 路由
主模型已支持图片输入 该轮可不装/不用本插件

适用场景与注意

适合:已在 DSH 登录 DeepSeek 账号、希望复用账号侧 Flash 识图、又不想给每个文本 agent 单独配 VLM 的场景。密集截图、极小字号 UI 的转译可能漏细节,需要更高准确度时可调整 visionModel 或自定义 recognitionPrompt / transcribePrompt。

限制摘要:

  • 不接受 PDF、音频、视频。
  • 识别时图片会随请求发往 DeepSeek(插件不在磁盘持久化图片);缓存仅在进程内存。
  • 插件以当前 dsh 进程权限运行,安装前请自行查看源码与 MIT 许可证,确认符合你的安全与合规要求。

DSH 生态强调「一切皆插件」;SkillHub 目录页 为社区站点,与 DeepSeek / 幻方无官方从属关系。

结尾

dsh-deepseek-account-vision 用账号路由上的 DeepSeek-V4.1-Flash 做 OCR 与版面描述,通过工具或自动路由把识图能力接到任意主模型,无需额外 API Key。详情与配置表见 GitHub 仓库,安装使用上述 dsh plugin --profile <profile> add @caesarloo/dsh-deepseek-account-vision 即可。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜