前言¶
DeepSeek Harness (DSH) 的理念是“一切皆插件”。在开发代理时,标准的 DeepSeek 适配器通常只处理文本,无法直接处理图片输入或输出。要在 DSH 代理中实现“看图”或“生图”能力,通常需要编写自定义的后端服务。wumu1111111/dsh-agnes-omni 插件解决了这个问题,它将 Agnes 的全模态模型作为工具集成到 DSH 环境中,让代理具备图像理解与生成能力,并打通了“在对话中直接发送图片”的链路。
这是什么¶
wumu1111111/dsh-agnes-omni 是一个为 DeepSeek Harness (DSH) 设计的插件。它通过 DSH 的 Bundle 机制接入 Agnes AI 的免费全模态模型(包括 agnes-2.5-flash 视觉模型和 agnes-image-2.1-flash 图像模型)。该插件不包含任何密钥,所有鉴权通过 DSH 凭据服务动态解析,符合 DSH 的模块化安全设计。
核心功能¶
插件主要提供三个核心组件:
agnes_vision(工具):提供图像理解能力。支持看图、OCR 识别、场景识别和图表分析。该工具将图片交给 Agnes 模型,返回文字描述。agnes_image(工具):提供文本到图像和图像到图像(图生图)的编辑能力。用户可以通过提示词生成图片,或上传参考图进行修改。- 视觉桥(bridge):这是一个技术组件,用于打通对话中的图片流。它允许代理在对话中接收图片块,并在发送给文本适配器之前,将其解码保存到本地路径,替换为文本标记,从而触发
agnes_vision进行分析。
安装与启用¶
该插件是一个标准的 DSH Bundle,安装到指定的 profile 即可生效。在终端中执行以下命令:
dsh plugin --profile <profile> add github:WUMU1111111/dsh-agnes-omni
安装后,该插件会自动通过 DSH 的 Cordis Patch 机制注册上述工具和视觉桥。
配置密钥¶
插件本身不包含任何密钥。它通过 DSH 的凭据服务读取 AGNES_API_KEY。你需要在运行 DSH 的环境中配置该密钥,有以下两种方式:
- 环境变量:
export AGNES_API_KEY=sk-xxxxxxxxxxxxxxxxxxxx
- 配置文件:
编辑$DSH_HOME/.credentials.yaml文件,添加:
AGNES_API_KEY: sk-xxxxxxxxxxxxxxxxxxxx
注意:密钥不应提交到代码仓库中。
典型用法¶
安装并配置完成后,代理即可使用以下能力:
- 看图:在对话中直接粘贴或拖拽图片发送。视觉桥会自动处理图片,代理随后调用
agnes_vision进行分析并给出文字回复。也可以直接提供图片的本地路径或 URL。 - 生图:对代理下达指令,例如“生成一张……的图”。代理会调用
agnes_image生成图片,并将结果下载保存到当前会话的工作区中。 - 图生图:提供参考图的路径,并说明需要修改的内容。代理会根据参考图和指令生成新图片。
- 提示词优化:建议使用英文提示词,并按照
[主体]+[场景]+[风格]+[光线]+[构图]+[质量]的结构描述,以获得更稳定的生成效果。
可选配置¶
视觉桥负责拦截图片消息,它需要指定一个目标 Provider 来声明 image 输入模态。默认情况下,它指向 deepseek-official。
如果你需要修改路由,可以在配置中指定:
- id: agnes-vision-bridge
name: dsh-agnes-omni/bridge
config:
targetProvider: deepseek-official
注意事项¶
- 安全性:插件源码与仓库中不包含任何密钥,所有请求的鉴权头均来自运行时的凭据解析。
- 图片存储:图片会按内容哈希(sha256)落盘在会话工作区根目录的
.agnes/文件夹下,同图只写入一次。 - 节点回退:如果连接主站不可达,插件会自动回退到国内节点
api.agnes-ai.cn。
结尾¶
wumu1111111/dsh-agnes-omni 插件为 DSH 代理开发提供了低成本的全模态接入方案。通过它,开发者无需维护独立的视觉后端,即可在对话流中直接处理图片。
- 插件目录:wumu1111111/dsh-agnes-omni
- GitHub 仓库:wumu1111111/dsh-agnes-omni