DeepSeek Harness(DSH)采用插件化架构,旨在扩展系统的原生能力。纯文本大模型无法直接“看”图,需要通过外部工具辅助。dsh-siliconflow-vision 是一个插件,它注册了一个 analyze_image 工具,将图片输入交给硅基流动(SiliconFlow)的视觉大模型(默认使用 Qwen/Qwen3-VL-32B-Instruct),再将识别结果返回给 DSH 会话,从而让对话模型具备完整的图片分析能力。
这是一个由 ShiXiangYu2 维护的模型推理类插件,遵循 MIT 许可证。
核心功能¶
该插件主要提供以下视觉识别能力:
- 识别服务器本地图片文件(通过文件路径传递)。
- 识别 HTTP(S) 图片 URL。
- 识别 Base64 Data URL。
- 自定义识别指令(Prompt),例如“识别图中所有文字”或“图里有什么动物”。
- 支持切换不同的视觉模型(Qwen3-VL 系列、GLM-4.5V、PaddleOCR-VL 等)。
- 提供可选的交互式“粘贴识别”面板(动态插件形态)。
安装与启用¶
使用 dsh plugin 命令将插件安装到指定的 profile 中。
dsh plugin --profile demo add ./dsh-siliconflow-vision
安装完成后,在启动 DSH 时加载该 profile,analyze_image 工具即可自动生效。
配置 API Key¶
插件代码中不会硬编码 API Key。你需要通过环境变量或密钥文件配置硅基流动的访问凭证。
方式一:环境变量
export SILICONFLOW_API_KEY="sk-xxxxxxxx"
方式二:密钥文件
在以下任一位置创建纯文本文件,内容为 API Key:
$DSH_HOME/siliconflow.key
~/.dsh/siliconflow.key
API Key 需在硅基流动控制台获取。
典型用法¶
在 DSH 对话中直接输入包含图片路径或 URL 的指令即可。模型会自动调用 analyze_image 工具。
示例:
分析一下 /root/data/photo.png 里有什么
识别这张图的文字:https://example.com/screenshot.png
工具调用参数如下:
image:图片源(必填),支持本地路径、HTTP URL 或 Data URL。prompt:对图片的指令,缺省时使用通用中文描述。model:指定的硅基流动模型 ID,默认为Qwen/Qwen3-VL-32B-Instruct。maxTokens:输出 token 上限,默认 1024。
可选模型列表¶
根据不同的识别需求,可以切换不同的模型:
| 模型 ID | 特点 |
|---|---|
Qwen/Qwen3-VL-32B-Instruct |
默认,识别能力强 |
Qwen/Qwen3-VL-8B-Instruct |
更快、更省资源 |
Qwen/Qwen3-VL-30B-A3B-Instruct |
性价比选择 |
zai-org/GLM-4.5V |
通用视觉理解 |
PaddlePaddle/PaddleOCR-VL-1.5 |
专注 OCR 文字识别 |
技术说明与注意事项¶
- 运行环境:需要 Node.js >= 18。
- 请求格式:使用 OpenAI 兼容的接口,向
https://api.siliconflow.cn/v1/chat/completions发送 POST 请求。 - 本地图片处理:读取本地图片后直接转换为 base64 data URL 传入,不生成磁盘临时文件,避免权限和路径问题。
- 安全性:插件以当前 DSH 进程的权限运行。在使用前,建议检查源码以确认其行为符合预期。
该插件通过连接 SiliconFlow 的视觉能力,为 DSH 会话增加了“看”图的能力。更多技术细节与源码,请访问 GitHub 仓库。