在 DeepSeek Harness (DSH) 的開發實踐中，讓模型理解圖像往往止步於描述性文本。通用視覺模型（VLM）提供的是視覺印象而非幾何事實，直接詢問距離或位置時，模型容易給出錯誤答案或編造座標。dsh-tool-accurate-vision 解決了這一痛點，它將視覺推理轉化爲可計算的結構化數據。
功能定位¶
這是一個模型面向的 accurate_vision 工具。它通過 OpenAI 兼容的視覺模型處理圖像文件，返回結構化筆記以及歸一化到 0-1000 的邊界框原語。工具將這些原語格式化爲 <vision-context> XML 塊，供純文本模型在下一輪對話中讀取，從而在不損失空間保真度的情況下獲得精確的對象位置、佈局和 OCR 信息。
該工具具備以下能力：
* 結構化輸出：返回結構化筆記及歸一化邊界框（0-1000）。
* XML 上下文封裝：將原語打包爲 <vision-context> 塊，供文本模型直接解析。
* 可視化反饋：生成自包含的標註 SVG 文件，便於人工覈查。
* 提供商無關：支持任意 OpenAI 兼容的多模態端點。
* 輔助計算：內置 bboxEdgeDistance 函數，用於計算邊緣距離。
安裝與配置¶
安裝插件需要使用 DSH 的插件管理器。
dsh plugin --profile web add dsh-tool-accurate-vision
由於視覺 API 密鑰與 DeepSeek 的主密鑰分離，安裝後需單獨設置環境變量：
export VISION_API_KEY=sk-...
安裝完成後，在對應 profile 的 cordis.patch.yml 中覆蓋配置以適配你的環境。配置項包括模型名稱、端點地址、密鑰引用、是否請求原語、是否生成 SVG、最大 Token 數、超時時間、溫度參數以及是否禁用思考過程。
- id: tool-accurate-vision
config:
model: gpt-4o
baseURL: https://api.openai.com/v1
apiKeyEnv: VISION_API_KEY
primitives: true
annotate: true
maxTokens: 8192
timeoutSecs: 120
temperature: 0
disableThinking: true
注意：disableThinking: true 可以跳過推理階段，適用於對速度和穩定性要求較高的場景。
工作原理¶
調用流程如下：
- 接收圖像文件，將其轉換爲 Base64 Data URL。
- 發送給配置的 OpenAI 兼容視覺模型。
- 模型返回 JSON 格式的結構化筆記及邊界框原語。
- 工具將原語封裝爲
<vision-context>XML 塊，供後續文本模型讀取。 - 工具同時生成一份包含所有邊界框和標籤的標註 SVG 文件。
典型應用場景¶
該工具的核心價值在於將視覺印象轉化爲幾何事實。在需要精確距離計算的場景中，它能顯著提升結果的可驗證性。
以一個手繪的物理學家網絡圖爲例，如果詢問“哪位節點物理上最接近居里夫人”，直接使用普通視覺模型只能給出直覺判斷（通常是錯誤的）。使用本工具後，每個節點都會攜帶一個可驗證的 0-1000 邊界框。智能體可以通過計算邊緣距離（使用工具內置的 bboxEdgeDistance 函數）得出精確數據。
例如，計算結果顯示皮卡爾德的邊緣距離爲 25.96，而郎之萬爲 58.00，從而得出正確結論。這種結構化數據使得文本模型能夠進行嚴謹的幾何計算，而非依賴不可靠的直覺。
生態與鏈接¶
該插件遵循 MIT 許可證。
- 社區目錄：dsh-tool-accurate-vision
- GitHub 倉庫：imkingjh999/dsh-tool-accurate-vision
