前言¶
DeepSeek Harness (DSH) 智能體在處理文本時表現良好，但面對圖片往往束手無策。當用戶上傳圖片或引用截圖時，純文本智能體無法直接感知視覺信息。該插件通過註冊一個系統技能，讓智能體在遇到圖片時能夠調用視覺 CLI 工具，將圖片內容轉化爲文本描述或座標信息，從而解決視覺感知缺失的問題。
插件概況¶
- 名稱：dsh-plugin-vision-toolkit
- 作者：YYTbit
- 類別：模型推理
- 許可證：MIT
核心功能¶
該插件提供了四個基礎工具，旨在讓智能體理解圖片內容：
* glance：對圖片進行描述、提問或 OCR 識別。
* ground：定位圖片中的特定元素，返回其邊界框座標。
* detect：查找圖片中所有特定類型的元素實例。
* crop：根據座標裁剪圖片中的特定區域。
安裝與配置¶
安裝插件需要指定配置文件：
dsh plugin --profile your-profile add dsh-plugin-vision-toolkit
安裝後需配置環境變量以連接視覺 API：
export VISION_API_KEY=sk-xxx # 視覺 API 密鑰（若未設置，會回退使用 DEEPSEEK_API_KEY）
export VISION_BASE_URL=https://... # API 地址（若未設置，會回退使用 DEEPSEEK_BASE_URL）
export VISION_MODEL=deepseek-vl2 # 視覺模型名稱
使用示例¶
以下爲已驗證的使用場景：
- 描述圖片：
glance screenshot.png
- 對圖片提問：
glance screenshot.png -q "What error is shown?"
- OCR 識別：
glance screenshot.png --ocr
- 定位元素：
ground screenshot.png "the login button"
# 輸出示例：450,820,620,870
- 檢測所有實例：
detect screenshot.png "buttons"
- 裁剪區域：
crop screenshot.png 450,820,620,870 button.png
依賴與注意事項¶
- 依賴項：插件依賴
@deepseek-ai/cordis和圖像處理庫sharp。 - 運行權限：插件以當前 DSH 進程的權限運行，安裝前建議檢查源碼與許可證。
- 數據安全：智能體不會直接接觸原始像素，而是通過工具獲取文本描述或座標數據。
總結¶
該工具通過註冊技能的方式，爲 DSH 智能體補全了視覺能力。開發者只需配置好環境變量，即可讓智能體處理截圖、OCR 或定位 UI 元素，擴展了智能體的應用邊界。
