dsh-vision:爲 DeepSeek Harness 的純文本 DeepSeek 增加圖片理解

前言

DeepSeek Harness(DSH)支持通過插件擴展能力。對智能體開發者來說,一個常見問題是:DeepSeek 本身是純文本模型,直接在會話裏粘貼圖片時,模型無法把圖片當作輸入;如果額外接入視覺 API,又要申請 key、承擔成本,或受網絡環境限制。

dsh-vision 是 54xkeee 維護的 DSH 插件,目標是給純文本 DeepSeek 增加圖片理解入口。它默認走豆包 Web 通道,瀏覽器登錄一次即可,不要求 API key;同時支持反重力(Antigravity)IDE 額度、Gemini API 降級通道、Cockpit 反代、aicode 直連通道,以及任意 IDE CLI 通過 ideCli 配置接入。相關目錄是社區獨立站點,不是官方應用商店。

插件定位

  • 倉庫/README 名稱:dsh-vision
  • npm 包名:dsh-vision-web
  • 維護者:54xkeee
  • 許可證:MIT
  • 運行要求:Node >=20,dsh >=0.1.0
  • 基本作用:爲純文本 DeepSeek 包裝適配器,聲明圖片輸入,並將圖片自動轉爲文本佔位;識別結果以文字證據回填,供 DeepSeek 繼續回答。

核心能力

下面介紹已覈實的幾項能力。

  1. 默認豆包 Web 通道
    默認走豆包 Web,瀏覽器登錄一次即可,零成本、免 API key。

  2. 反重力(Antigravity)IDE 額度
    支持使用反重力 IDE 額度,並按模型名選擇 flash / pro 檔。

  3. Gemini API 降級通道
    支持 Gemini API 作爲降級通道。

  4. Cockpit 反代與 aicode 直連
    支持 Cockpit 反代通道,也支持 aicode 直連通道。

  5. 任意 IDE CLI 接入
    支持 Claude Code、Gemini CLI、Qwen Code、MiMo 等任意 IDE CLI,通過 ideCli 配置接入。

  6. 圖片輸入包裝
    爲純文本 DeepSeek 包裝適配器,聲明圖片輸入,圖片自動轉文本佔位。

  7. 視覺證據記憶
    識別結果持久化到會話時間線,支持跨輪複用,並在 compaction 後恢復。

  8. 內容哈希緩存
    同一張圖、同一個問題,在進程內最多識別一次。

  9. 檔位自動升級
    先做標準檢查,複雜畫面自動進入深度檢查。

  10. 四種任務模式
    提供 glanceocrregioncompare 四種任務模式。

  11. 結構化證據輸出
    輸出結構化 JSON 證據對象,包含 complexitybase_evidencequery_answer 等字段。

  12. 兩種使用入口
    提供面板與對話流兩種使用入口。

  13. WSL/被牆環境降級
    WSL/被牆環境支持 winCurl 降級。

安裝與啓用

先執行官方安裝命令:

dsh plugin --profile web add dsh-vision-web

注意:安裝命令使用的是 npm 包名 dsh-vision-web,而倉庫和 README 使用的是 dsh-vision,兩者名稱不完全一致。

插件會以當前 dsh 進程權限運行。安裝前應先檢查源碼、依賴和許可證;本次介紹中已覈實其許可證爲 MIT。

典型用法

默認豆包 Web 通道

先做安裝,再做橋接和登錄:

  1. 安裝插件:
dsh plugin --profile web add dsh-vision-web
  1. 在 Windows 側運行橋接:
node bridge.mjs
  1. 在對應 Chrome 中登錄 doubao.com

  2. 重啓 dsh web,然後在會話中粘貼圖片併發送。

經過上面的步驟後,默認通道即可使用。該通道會向你自己登錄的豆包會話發送圖片;它依賴 Windows 側 Chrome、bridge.mjs 隊列輪詢,並且需要登錄豆包。

反重力(Antigravity)通道

如果使用反重力 IDE,可以配置以下項:

config:
  antigravityWorkspace: /path/to/workspace
  antigravityProjectId: your-project-id
  antigravityLsExe: /path/to/language_server.exe
  antigravityWindowsHome: /mnt/c/Users/you
  antigravityBrainDir: /mnt/c/Users/you/.gemini/antigravity/brain

配置後,插件自動優先使用反重力額度,並按模型名選擇 flash / pro 檔。

注意:該通道要求 Antigravity IDE 已運行並登錄,且需要提供 language_server.exe 路徑。

Gemini API 通道

配置 genlangKey 後啓用 Gemini API 通道:

config:
  genlangKey: your-api-key

該通道需要用戶提供 API key。key 只存在本地配置中,錯誤信息會自動脫敏。

任意 IDE CLI 通道

如果已有本地 IDE CLI,例如 Claude Code、Gemini CLI、Qwen Code、MiMo,可以按 ideCli 配置接入:

config:
  ideCli:
    enabled: true
    exe: claude
    argsTemplate: "-p {prompt}"
    imageRefTemplate: "{path}"
    timeoutMs: 120000

其中:

  • exe 對應實際 CLI 可執行文件
  • argsTemplate 用於構造 CLI 參數
  • imageRefTemplate 用於填寫圖片引用格式
  • timeoutMs 用於設置超時時間

具體取值需要隨所用 CLI 的能力調整。

面板入口

在會話頭部點擊「識圖」,然後按順序操作:

  1. 添加或粘貼圖片
  2. 填寫提示詞
  3. 選擇模式、檔位和通道
  4. 點擊識別

對話流入口

在模型選擇器中選擇 deepseek-vision 路由,然後粘貼圖片併發送。

本地開發

如果需要本地構建和測試:

git clone https://github.com/54xkeee/dsh-vision
cd dsh-vision
npm install
npm run build
npm test

適用場景與注意事項

dsh-vision 適合以下場景:

  • 希望給 DSH 中的純文本 DeepSeek 增加圖片理解能力
  • 希望默認使用豆包 Web 通道,避免額外 API key
  • 已有反重力 IDE 額度、Gemini API、Cockpit 反代、aicode 憑據或本地 IDE CLI
  • 在 WSL/被牆環境中需要 winCurl 降級路徑

使用前需要注意:

  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
  • 豆包 Web 通道會向用戶自己登錄的豆包會話發送圖片。
  • 豆包 Web 通道依賴 Windows 側 Chrome、bridge.mjs 隊列輪詢,且需要登錄豆包。
  • 反重力通道要求 Antigravity IDE 運行並登錄,且需提供 language_server.exe 路徑。
  • Gemini API 通道需要用戶提供 API key;key 只存本地配置,錯誤信息自動脫敏。
  • OAuth 憑據不內置;aicode 通道要求用戶自帶憑據並存在本地配置。
  • WSL 連不上 API 時,可配置 curlPath 使用 Windows curl 降級。
  • allowedImageDirs 非空時,僅允許 image_path 讀取指定目錄。
  • 緩存爲進程內 LRU,不是跨進程持久緩存。

結尾

dsh-vision 的價值在於:它把圖片理解做成 DSH 插件能力,默認用豆包 Web 降低接入門檻,同時保留反重力、Gemini API、Cockpit、aicode 和 IDE CLI 等通道,方便按已有賬號、額度或本地工具選擇路徑。對需要給純文本 DeepSeek 增加看圖能力的開發者來說,它提供了一條可落地的插件化方案。

相關入口:

  • GitHub:https://github.com/54xkeee/dsh-vision
  • 目錄頁線索:https://www.skillhub.cn/plugins/54xkeee/dsh-vision

目錄頁鏈接來自插件線索,未列入已抓取的 README/package.json,使用前建議先打開覈對。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜