前言¶
DeepSeek Harness(DSH)奉行“一切皆插件”的理念。在构建基于仅文本模型的智能体时,视觉交互能力(读取图片、生成图片)往往是短板。dsh-vision 插件通过接管输入事件流和扩展工具链,将图像识别与生成能力注入文本模型,使其能够处理本地图片描述或生成视觉内容。
插件定位¶
这是一个由 HarryLi-7 维护的 DSH 插件。它主要解决文本模型无法直接处理图像输入和输出的问题,支持多引擎故障转移链,并提供了完整的 UI 集成。
安装与启用¶
通过命令行添加插件:
dsh plugin --profile web add /path/to/dsh-vision
安装完成后,重启 dsh web 服务。
核心功能¶
图像识别¶
使用 describe_image 工具读取本地图片。
* 输出模式:默认返回结构化 JSON(包含描述、OCR 识别行、布局区域、实体信息),也可配置为纯文本模式。
* 引擎链:Codex → Gemini → Zhipu GLM。
图像生成¶
使用 generate_image 工具根据提示词生成图片。
* 质量选项:
* auto:Nano Banana 2 Lite(经济模式)。
* hd:Nano Banana Pro 1K/2K。
* 4k:Nano Banana Pro 4K。
* 展示:生成结果以卡片形式展示在对话中,支持预览、下载和跳转至文件系统。
输入方式与文件处理¶
插件在窗口级别拦截了文本模型的粘贴和拖拽操作。
* 上传路径:图片会被上传至 ~/.dsh/generated-images/uploads/,采用内容寻址存储,相同图片仅保留一份。
* 模型交互:实际发送给模型的是文件路径文本,模型仅处理文本。
* 界面反馈:输入框上方提供缩略图预览栏,支持横向滚动和单图删除(同步移除路径)。
存储策略¶
插件遵循严格的临时存储原则。
* Codex 会话:使用 --ephemeral 和 --sandbox workspace-write 参数,不生成持久化会话文件。
* 上传文件:默认保留 7 天,可通过设置中的 uploadRetentionDays 配置(设为 0 则永久保留)。孤儿 .meta.json 侧边栏文件会自动清理。
配置与凭证¶
凭证配置¶
在 ~/.dsh/.credentials.yaml 中配置各引擎密钥:
* DEEPSEEK_API_KEY:DeepSeek 主引擎。
* GEMINI_API_KEY:Gemini 识别(免费版,Pro 会降级为 Flash)。
* GEMINI_IMAGE_API_KEY:Gemini 生成(需付费,属于独立项目)。
* ZHIPU_API_KEY:智谱 AI 回退引擎。
引擎参数设置¶
在 DSH 的 Settings 页面找到 dsh-vision 配置项:
* codexPath:Codex CLI 路径(留空自动检测)。
* uploadRetentionDays:上传文件保留天数。
* describeEngines / generateEngines:控制识别和生成的引擎调用顺序。
* 引擎模型参数:例如 Codex 可配置 gpt-5.6-luna、max、priority 等参数。
环境要求¶
- Node.js 环境,需安装 DSH harness (
dsh web)。 - Codex CLI(通过
npm install -g @openai/codex安装),并已登录 ChatGPT 账户。 - 可选:Zhipu 或 Gemini 密钥用于回退引擎。
总结¶
dsh-vision 通过多引擎故障转移和“用完即焚”的存储策略,为 DSH 提供了可靠的视觉处理能力。开发者可根据需要在设置中调整引擎链和参数,满足不同的识别与生成需求。