前言¶

DeepSeek Harness（DSH）的核心理念是「一切皆插件」，旨在通過模塊化擴展能力。純文本大模型（大腦）無法直接處理像素數據，導致在視覺場景下只能進行猜測或失靈。jolly-dsh-vision 作爲一種 ModLens 風格的視覺橋接插件，通過引入專門的視覺模型（眼睛）來解決這個問題。它讓純文本模型也能看圖，並提供結構化的證據輸出。

核心能力¶

本插件主要提供兩條視覺通路：

1. vision 工具：大腦可主動調用此工具，傳入本地路徑或 URL，插件將圖片存入附件庫，通過 LLM Seam 調用視覺模型，返回包含 summary、ocr、layout 等字段的結構化證據 JSON。大腦基於這些證據而非猜測進行作答。
2. (ds vision) 視覺孿生模型：在模型選擇器中出現帶 (ds vision) 後綴的條目（如 DeepSeek-V4-Pro (ds vision)）。選中該條目後，可直接在輸入框粘貼或拖入圖片。插件會在請求發出前自動將圖片轉換成證據文本注入給大腦。

安裝與啓用¶

安裝過程需要使用 DSH 的命令行工具。

dsh plugin --profile web add jolly-dsh-vision

安裝完成後，確保 dsh.profile.bundles 中包含 jolly-dsh-vision，並重啓 dsh web 以加載插件。

前置條件¶

1. 環境要求：Node.js 版本需大於等於 20。
2. 配置大腦與眼睛：在 ~/.dsh/settings.yaml 中配置兩個模型。一個作爲大腦（純文本），一個作爲眼睛（視覺）。

agent-default-model:
  provider: deepseek-official
  model: deepseek-v4-pro          # 大腦

llm-deepseek:
  models:
    - id: deepseek-v4-flash-vision-exp
      name: DeepSeek-V4-Flash-Vision-Exp
      inputModalities:
        - text
        - image                     # 眼睛必須聲明支持圖片輸入

典型用法¶

通路 A：使用 vision 工具¶

在對話中，如果大腦需要看圖，會自動調用 vision 工具。你可以直接傳入本地文件路徑或 HTTP(S) URL。

通路 B：直接貼圖與 (ds vision) 孿生¶

1. 在模型選擇器中找到帶 (ds vision) 後綴的條目。
2. 在輸入框直接粘貼或拖入圖片。
3. 圖片會被自動轉換爲證據文本，大腦會引用這些證據進行回答。同一會話內同一張圖只轉換一次。

注意：普通純文本模型條目依然不接受貼圖，必須選擇帶 (ds vision) 後綴的條目。

安全與隱私¶

• API Key 零接觸：插件不會讀取、記錄或轉發任何 API Key。密鑰由 Harness 的憑據 seam 在每次調用時解析，代碼不構造 Authorization 頭。
• SSRF 防護：vision 工具默認拒絕私有網段、環回地址（如 localhost）和鏈路本地地址，防止惡意提示詞誘導請求內網資源。如需內網資源，可在配置中開啓 allowPrivateUrls。
• 信任邊界：插件以當前 DSH 進程權限運行，vision 工具能讀取進程可讀的任意圖片文件。圖片路徑（含解析後的絕對路徑）會進入會話日誌，多人共享會話時需注意數據泄露風險。

已知限制¶

1. 格式支持：僅支持 png、jpeg、gif、webp。HEIC 格式需先轉碼。
2. 路由機制：視覺孿生目前爲單路由實現，暫不支持像 modlens 那樣的多路由自動發現。
3. 依賴：零依賴（純 Node 內置模塊）。

結語¶

jolly-dsh-vision 通過極簡的架構爲 DSH 補齊了視覺能力，利用 deepseek-v4-flash-vision-exp 作爲眼睛，讓 deepseek-v4-pro 等大腦模型能夠通過結構化證據進行更準確的視覺推理。項目代碼基於 MIT 許可證，派生自 liustack/modlens。