DeepSeek Harness 视觉桥接插件:将图像消息路由至兼容 OpenAI 的端点

前言

DeepSeek Harness (DSH) 的设计理念是“一切皆插件”。当活跃的文本模型无法直接处理图像输入时,zh-u-hb/dsh-vision-bridge 插件能够介入。它监听 DSH 的消息处理流水线,在文本模型报告不支持图像输入时,将图像消息转发至用户配置的 OpenAI 兼容视觉模型,并将返回的文本替换回对话流中。

插件简介

这是一个由 Zh-U-hB 维护的联网工具类插件。它提供了一个 Web 设置页面,允许用户配置 OpenAI 兼容的 API 端点和密钥。当激活时,插件会拦截图像消息,将其发送给配置的视觉模型,并将返回的文本替换回对话流中。

核心功能

  • 托管与配置:提供宿主插件和 Web 设置页面。
  • 消息路由:监听 agent/pre-step 流水线,在活跃文本模型报告不支持图像输入时,将图像消息转发至外部端点。
  • 提示词合成:自动要求文本模型编写针对图像的提示词,并将系统提示词与图像数据组合发送。

安装与启用

安装脚本会将插件安装到默认的 web 配置文件中。安装后需重启服务。

  1. 执行安装命令:
   ./install.sh

若需安装到其他配置文件,可使用环境变量:

   DSH_PROFILE=myprofile ./install.sh
  1. 重启 DSH Web 服务:
   dsh web

配置步骤

通过 Web 设置页面进入 vision-bridge 命名空间下的 Vision 部分。

必须配置以下字段才能启用桥接:
* enabled:是否启用图像桥接功能。
* url:OpenAI 兼容 API 的基础地址(或完整地址,需以 /chat/completions 结尾)。
* apiKey:用于认证的 Bearer Token。
* model:指定要调用的视觉模型 ID。

设置页面对 API Key 进行了脱敏处理,空白字段会被视为“保留已保存的密钥”。

工作原理

插件监听 agent/pre-step 流水线。在消息被追加到会话日志之前,系统会检查消息是否包含图像内容块。

  1. 如果当前活跃的模型明确支持图像输入,消息原样通过。
  2. 如果模型仅支持文本,且配置了端点,插件会执行以下操作:
    * 请求当前文本模型根据消息文本编写一个精确的视觉提示词。
    * 组装系统提示词。
    * 向配置的 OpenAI 兼容端点发送 POST 请求,内容包含系统提示、编写的提示词以及 Base64 编码的图像数据。
    * 将返回的文本替换原始图像块。

注意事项与限制

  • 仅支持 OpenAI 协议:仅支持标准的 /chat/completions 端点。
  • 图像来源限制:仅处理在 agent/pre-step 阶段收到的图像消息。如果图像已经通过其他路径(例如工具执行结果)到达会话日志,插件不会重写它。
  • 前置条件:需要活跃的模型在元数据中明确声明为 text-only 才会触发桥接。如果模型未声明模态信息,消息将保持不变。
  • 密钥管理:Web 界面无法直接清除已保存的 API Key,需要直接编辑原始配置文档。

总结

该插件通过在 DSH 的流水线中注入逻辑,解决了文本模型无法直接处理图像的问题。配置完成后,它能够无缝地将图像分析任务委托给外部视觉模型,同时保持对话记录的可重构性。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜