DeepSeek Harness 插件:dsh-siliconflow-vision(通过硅基流动进行视觉识别)

DeepSeek Harness(DSH)采用插件化架构,旨在扩展系统的原生能力。纯文本大模型无法直接“看”图,需要通过外部工具辅助。dsh-siliconflow-vision 是一个插件,它注册了一个 analyze_image 工具,将图片输入交给硅基流动(SiliconFlow)的视觉大模型(默认使用 Qwen/Qwen3-VL-32B-Instruct),再将识别结果返回给 DSH 会话,从而让对话模型具备完整的图片分析能力。

这是一个由 ShiXiangYu2 维护的模型推理类插件,遵循 MIT 许可证。

核心功能

该插件主要提供以下视觉识别能力:

  • 识别服务器本地图片文件(通过文件路径传递)。
  • 识别 HTTP(S) 图片 URL。
  • 识别 Base64 Data URL。
  • 自定义识别指令(Prompt),例如“识别图中所有文字”或“图里有什么动物”。
  • 支持切换不同的视觉模型(Qwen3-VL 系列、GLM-4.5V、PaddleOCR-VL 等)。
  • 提供可选的交互式“粘贴识别”面板(动态插件形态)。

安装与启用

使用 dsh plugin 命令将插件安装到指定的 profile 中。

dsh plugin --profile demo add ./dsh-siliconflow-vision

安装完成后,在启动 DSH 时加载该 profile,analyze_image 工具即可自动生效。

配置 API Key

插件代码中不会硬编码 API Key。你需要通过环境变量或密钥文件配置硅基流动的访问凭证。

方式一:环境变量

export SILICONFLOW_API_KEY="sk-xxxxxxxx"

方式二:密钥文件

在以下任一位置创建纯文本文件,内容为 API Key:

$DSH_HOME/siliconflow.key
~/.dsh/siliconflow.key

API Key 需在硅基流动控制台获取。

典型用法

在 DSH 对话中直接输入包含图片路径或 URL 的指令即可。模型会自动调用 analyze_image 工具。

示例:

分析一下 /root/data/photo.png 里有什么
识别这张图的文字:https://example.com/screenshot.png

工具调用参数如下:

  • image:图片源(必填),支持本地路径、HTTP URL 或 Data URL。
  • prompt:对图片的指令,缺省时使用通用中文描述。
  • model:指定的硅基流动模型 ID,默认为 Qwen/Qwen3-VL-32B-Instruct。
  • maxTokens:输出 token 上限,默认 1024。

可选模型列表

根据不同的识别需求,可以切换不同的模型:

模型 ID 特点
Qwen/Qwen3-VL-32B-Instruct 默认,识别能力强
Qwen/Qwen3-VL-8B-Instruct 更快、更省资源
Qwen/Qwen3-VL-30B-A3B-Instruct 性价比选择
zai-org/GLM-4.5V 通用视觉理解
PaddlePaddle/PaddleOCR-VL-1.5 专注 OCR 文字识别

技术说明与注意事项

  • 运行环境:需要 Node.js >= 18。
  • 请求格式:使用 OpenAI 兼容的接口,向 https://api.siliconflow.cn/v1/chat/completions 发送 POST 请求。
  • 本地图片处理:读取本地图片后直接转换为 base64 data URL 传入,不生成磁盘临时文件,避免权限和路径问题。
  • 安全性:插件以当前 DSH 进程的权限运行。在使用前,建议检查源码以确认其行为符合预期。

该插件通过连接 SiliconFlow 的视觉能力,为 DSH 会话增加了“看”图的能力。更多技术细节与源码,请访问 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜