dsh-ext-vision-proxy:給 DeepSeek Harness 文本模型接外部視覺 API

前言

在 DeepSeek Harness(DSH)裏使用 DeepSeek-V3 或 DeepSeek-R1 時,如果對話中經常遇到截圖、圖表、附件圖片,純文本模型本身不一定能穩定完成“看圖並回答”。dsh-ext-vision-proxy 做的事情比較直接:把外部 OpenAI-compatible 視覺 API 接進 DSH,讓文本模型通過工具調用獲得圖片理解結果。

下面介紹它的定位、核心能力、安裝啓用方式和典型用法。

這是什麼

dsh-ext-vision-proxy 是面向 DeepSeek Harness 的外部視覺代理插件,由 jin123-alpha 維護,許可證爲 MIT。

一句話定位:

External vision proxy plugin for DeepSeek Harness,
enabling text-only models (DeepSeek-V3 / R1) to analyze and understand images
via OpenAI-compatible vision APIs.

它主要解決的是:在 DSH 會話中,讓 DeepSeek-V3 / DeepSeek-R1 這類 text-only 模型能夠藉助外部視覺模型分析圖片、截圖、圖表和附件。

需要額外準備:

OpenAI-compatible Vision API Base URL
API Key

核心能力

1. 給文本模型暴露視覺描述工具

插件會讓模型可以調用工具來查看和回答圖片相關問題。關鍵工具名是:

vision_describe

它適用於圖片、截圖、圖表、附件等視覺內容的分析場景。

2. 在聊天輸入欄加入開關和模型選擇

插件會接入聊天輸入欄的左側區域:

conversation.input.left

這裏會加入一個 pill-shaped toggle switch,以及一個 model dropdown selector,方便在會話中快速切換視覺代理狀態和選擇視覺模型。

3. 在 Settings 頁面提供配置面板

插件提供 Settings 頁面配置項,支持:

custom Base URLs
API Keys
vision model filtering
one-click connectivity testing

這意味着不需要每次都手動改文件,可以在頁面裏配置並測試外部視覺 API 是否可用。

4. 定義 4-state session matrix

插件會區分多模態模型和 text-only 模型,並結合開關狀態形成 4 種會話狀態:

Multimodal LLM + switch ON
Multimodal LLM + switch OFF
Text-only LLM + switch ON
Text-only LLM + switch OFF

其中已明確的一個狀態是:

Text-only LLM + switch OFF

此時行爲與未安裝該插件一致。

5. 解析多種附件形式

插件支持解析以下圖片資源形式:

sha256:...
local file paths
HTTP/HTTPS URLs

並會使用 binary magic bytes 檢測 MIME type。

安裝與啓用

已覈實資料裏沒有給出一個標準的 dsh plugin add 命令,因此這裏不按單一插件安裝命令理解。資料中出現的命令包括:

npm install
npm run build
npm pack
dsh web

先安裝依賴:

npm install

如果需要本地構建和打包:

npm run build
npm pack

然後啓動 DSH Web:

dsh web

插件依賴方面,資料中列出的 peer dependencies 爲:

@deepseek-ai/cordis
@deepseek-ai/dsh-tools
react ^19.0.0

典型用法

下面流程來自已覈實用法示例,可按順序執行。

1. 啓動 DSH Web

dsh web

2. 打開視覺代理設置頁

訪問本地地址:

http://127.0.0.1:3080

進入:

Settings -> 視覺代理 (Vision Proxy)

3. 填寫 OpenAI-compatible 視覺 API 配置

填寫 Base URL 和 API Key。Base URL 可以是:

https://api.openai.com/v1

也可以是本地 endpoint。

4. 獲取模型列表

點擊:

獲取模型列表 (Fetch Models)

然後選擇默認視覺模型,例如:

gpt-4o
gemini-2.5-flash
qwen-vl-max

5. 測試連通性

點擊:

測試連通性 (Test Connection)

確認外部 API 可用後,保存配置。

6. 在會話中使用

在 DeepSeek-V3 或 DeepSeek-R1 會話中打開:

視覺代理

然後上傳或粘貼一張圖片,並提出問題。

此時模型會在後臺調用:

vision_describe

再根據返回結果繼續回答。

適用場景與注意

適合誰

如果你的 DSH 會話裏經常出現圖片、截圖、圖表、附件,而且希望讓 text-only 模型也能參與分析和回答,這個插件比較合適。

它特別適合這種工作流:

用戶上傳圖片
-> 模型判斷需要看圖
-> 調用 vision_describe
-> 外部視覺 API 返回圖片理解結果
-> 文本模型繼續組織回答

使用前注意

第一,它依賴外部 OpenAI-compatible Vision API。因此需要配置:

Base URL
API Key

第二,API Key 會進入你的本地 DSH 配置和運行環境。建議只在可信環境中配置,並定期檢查權限。

第三,插件會運行在當前 dsh 進程權限內。安裝前建議檢查源碼、依賴和許可證。

已覈實許可證信息:

MIT
MIT © 2026 Fan Yuejin

第四,不要把它理解成 DSH 官方應用商店裏的官方插件。這裏的插件目錄頁是獨立社區站點,與 DeepSeek / 幻方沒有官方從屬關係。

結尾

dsh-ext-vision-proxy 的價值不在於替換模型,而在於把外部視覺能力接入 DSH 會話,讓 DeepSeek-V3 / DeepSeek-R1 這類 text-only 模型也能通過 vision_describe 工具處理圖片。

如果你需要在 DSH 中穩定處理截圖、圖表和附件圖片,可以按上面的步驟配置 Base URL、API Key,並測試連通性後再進入正式會話。

參考鏈接:

https://www.skillhub.cn/plugins/jin123-alpha/dsh-ext-vision-proxy
https://github.com/jin123-alpha/dsh-ext-vision-proxy
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜