前言¶
DeepSeek Harness (DSH) 智能体在处理文本时表现良好，但面对图片往往束手无策。当用户上传图片或引用截图时，纯文本智能体无法直接感知视觉信息。该插件通过注册一个系统技能，让智能体在遇到图片时能够调用视觉 CLI 工具，将图片内容转化为文本描述或坐标信息，从而解决视觉感知缺失的问题。
插件概况¶
- 名称：dsh-plugin-vision-toolkit
- 作者：YYTbit
- 类别：模型推理
- 许可证：MIT
核心功能¶
该插件提供了四个基础工具，旨在让智能体理解图片内容：
* glance：对图片进行描述、提问或 OCR 识别。
* ground：定位图片中的特定元素，返回其边界框坐标。
* detect：查找图片中所有特定类型的元素实例。
* crop：根据坐标裁剪图片中的特定区域。
安装与配置¶
安装插件需要指定配置文件：
dsh plugin --profile your-profile add dsh-plugin-vision-toolkit
安装后需配置环境变量以连接视觉 API：
export VISION_API_KEY=sk-xxx # 视觉 API 密钥（若未设置，会回退使用 DEEPSEEK_API_KEY）
export VISION_BASE_URL=https://... # API 地址（若未设置，会回退使用 DEEPSEEK_BASE_URL）
export VISION_MODEL=deepseek-vl2 # 视觉模型名称
使用示例¶
以下为已验证的使用场景：
- 描述图片：
glance screenshot.png
- 对图片提问：
glance screenshot.png -q "What error is shown?"
- OCR 识别：
glance screenshot.png --ocr
- 定位元素：
ground screenshot.png "the login button"
# 输出示例：450,820,620,870
- 检测所有实例：
detect screenshot.png "buttons"
- 裁剪区域：
crop screenshot.png 450,820,620,870 button.png
依赖与注意事项¶
- 依赖项：插件依赖
@deepseek-ai/cordis和图像处理库sharp。 - 运行权限：插件以当前 DSH 进程的权限运行，安装前建议检查源码与许可证。
- 数据安全：智能体不会直接接触原始像素，而是通过工具获取文本描述或坐标数据。
总结¶
该工具通过注册技能的方式，为 DSH 智能体补全了视觉能力。开发者只需配置好环境变量，即可让智能体处理截图、OCR 或定位 UI 元素，扩展了智能体的应用边界。
