dsh-vision:为 DeepSeek Harness 提供视觉能力的插件

前言

DeepSeek Harness(DSH)奉行“一切皆插件”的理念。在构建基于仅文本模型的智能体时,视觉交互能力(读取图片、生成图片)往往是短板。dsh-vision 插件通过接管输入事件流和扩展工具链,将图像识别与生成能力注入文本模型,使其能够处理本地图片描述或生成视觉内容。

插件定位

这是一个由 HarryLi-7 维护的 DSH 插件。它主要解决文本模型无法直接处理图像输入和输出的问题,支持多引擎故障转移链,并提供了完整的 UI 集成。

安装与启用

通过命令行添加插件:

dsh plugin --profile web add /path/to/dsh-vision

安装完成后,重启 dsh web 服务。

核心功能

图像识别

使用 describe_image 工具读取本地图片。
* 输出模式:默认返回结构化 JSON(包含描述、OCR 识别行、布局区域、实体信息),也可配置为纯文本模式。
* 引擎链:Codex → Gemini → Zhipu GLM。

图像生成

使用 generate_image 工具根据提示词生成图片。
* 质量选项:
* auto:Nano Banana 2 Lite(经济模式)。
* hd:Nano Banana Pro 1K/2K。
* 4k:Nano Banana Pro 4K。
* 展示:生成结果以卡片形式展示在对话中,支持预览、下载和跳转至文件系统。

输入方式与文件处理

插件在窗口级别拦截了文本模型的粘贴和拖拽操作。
* 上传路径:图片会被上传至 ~/.dsh/generated-images/uploads/,采用内容寻址存储,相同图片仅保留一份。
* 模型交互:实际发送给模型的是文件路径文本,模型仅处理文本。
* 界面反馈:输入框上方提供缩略图预览栏,支持横向滚动和单图删除(同步移除路径)。

存储策略

插件遵循严格的临时存储原则。
* Codex 会话:使用 --ephemeral 和 --sandbox workspace-write 参数,不生成持久化会话文件。
* 上传文件:默认保留 7 天,可通过设置中的 uploadRetentionDays 配置(设为 0 则永久保留)。孤儿 .meta.json 侧边栏文件会自动清理。

配置与凭证

凭证配置

在 ~/.dsh/.credentials.yaml 中配置各引擎密钥:
* DEEPSEEK_API_KEY:DeepSeek 主引擎。
* GEMINI_API_KEY:Gemini 识别(免费版,Pro 会降级为 Flash)。
* GEMINI_IMAGE_API_KEY:Gemini 生成(需付费,属于独立项目)。
* ZHIPU_API_KEY:智谱 AI 回退引擎。

引擎参数设置

在 DSH 的 Settings 页面找到 dsh-vision 配置项:
* codexPath:Codex CLI 路径(留空自动检测)。
* uploadRetentionDays:上传文件保留天数。
* describeEngines / generateEngines:控制识别和生成的引擎调用顺序。
* 引擎模型参数:例如 Codex 可配置 gpt-5.6-luna、max、priority 等参数。

环境要求

  • Node.js 环境,需安装 DSH harness (dsh web)。
  • Codex CLI(通过 npm install -g @openai/codex 安装),并已登录 ChatGPT 账户。
  • 可选:Zhipu 或 Gemini 密钥用于回退引擎。

总结

dsh-vision 通过多引擎故障转移和“用完即焚”的存储策略,为 DSH 提供了可靠的视觉处理能力。开发者可根据需要在设置中调整引擎链和参数,满足不同的识别与生成需求。

插件目录
GitHub 仓库

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜