使用dsh-vision爲DeepSeek Harness外掛識圖模型

前言

DeepSeek Harness(簡稱 dsh)是 DeepSeek 開源的智能體運行時,目前仍處於 developer preview。官方頁面把設計原則寫得很直接:Everything is a plugin——模型適配、工具、技能、會話、沙箱、存儲、調度和界面,都做成可替換的插件。裝一個插件,等於給當前這條 agent 流水線多掛一塊能力,而不必去改 Harness 源碼。

社區裏已經有不少獨立目錄在收錄這類插件。本文用到的 DeepSeek Harness 插件庫 是社區站點,和 DeepSeek / 幻方沒有官方從屬關係;官方倉庫仍以 GitHub topic dsh-plugin 作爲發現入口。目錄裏的安裝命令可以抄,源碼和許可證還是要自己打開倉庫覈對。

實際用 dsh 寫代碼時,另一個問題很快就會冒出來:不少主模型本身是純文本的,截圖、報錯圖、UI 界面它看不見。你可以把圖片路徑貼進對話,模型也只能猜。dsh-vision 做的事情比較剋制:不改主模型,而是把識圖交給你自己配置的外部視覺 API,識別文本再送回當前會話或 agent 工具結果裏。下面按倉庫 README、package.json 和目錄頁交叉覈對後的內容介紹它。

這是什麼

dsh-vision 是一款面向 DeepSeek Harness 的工具與能力插件,由 linenxi-ctrl 維護,許可證爲 MIT。npm 包名是 @linenxi-ctrl/dsh-vision,當前版本 v0.2.6,主要語言是 JavaScript。README 標明兼容 DeepSeek Harness 0.1.0-rc.6,平臺覆蓋 Windows、macOS 和 Linux。

一句話定位:給本來沒有視覺輸入的 Harness 會話,外掛一套可配置地址、密鑰、模型名和提示詞的識圖通道。目錄頁收錄於 2026-08-15。截至 2026-08-18,目錄頁與 GitHub 倉庫均顯示 12 顆星。

GitHub 上還有其他同名倉庫(例如 oil-oil/dsh-vision),能力和安裝命令都不一樣。本文只寫 linenxi-ctrl/dsh-vision 這一份。

核心功能

倉庫 README 和目錄詳情頁列出的能力一致,可以分成四塊。

1、網頁配置按鈕與面板。啓用 client 插件後,頁面右下角會出現一個可拖動的 DeepSeek 鯨魚圓形按鈕。點開後可以填識圖 API 地址、密鑰、模型名、識圖提示詞(skill)、HTTP 代理和超時。密鑰按 secret 處理,面板回讀配置時不會把密鑰原文帶回來,只報告是否已配置。

2、發送圖片識圖並自動回傳。打開一個會話後,在面板裏點「發送圖片」選圖。插件把圖片轉成 base64,經同源接口 POST /api/vision/recognize 交給 host 側的識圖服務;識別完成後,文本會自動作爲消息注入當前會話,主模型基於這段文本繼續作答,不必手工複製粘貼。識別期間右上角會顯示「外掛模型正在識圖當中」。

3、模型自己截圖 + 識圖。agent 平面會註冊兩個工具:screenshot(截屏)和 recognize_image(識圖),並注入一段系統提示詞,告訴模型「先截圖、再把路徑交給識圖」。直接對模型說「看看我現在屏幕上的報錯」,按 README 的用法,模型會走「截圖 → 識圖 → 基於文本繼續」這條路徑。recognize_image 也可以直接喫用戶拖入或磁盤上已有的圖片路徑。

4、自動適配識圖 API 協議。內置四種協議:OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Google Gemini,默認 protocol=auto,按 apiBase 探測;認不出來時回退 openai-chat。另外提供 custom 模板協議,用 requestTemplateresponsePath 去接長尾接口。

識圖請求在 host(Node)側發出,不走瀏覽器直連外網,因此不受 CORS 限制。圖片上限在源碼裏寫死爲解碼後 20MB

安裝與啓用

目錄頁給出的安裝命令是:

dsh plugin add github:linenxi-ctrl/dsh-vision

插件會以當前 dsh 進程的權限運行,安裝時可能執行代碼。裝之前應檢查源代碼倉庫和許可證。若需要可復現安裝,目錄頁建議固定 commit 哈希。當前 main 最新提交爲 50f6ba065e8cf42c4ecc5a06c4e96dc2d5c69b11(對應 v0.2.6):

dsh plugin add github:linenxi-ctrl/dsh-vision#50f6ba065e8cf42c4ecc5a06c4e96dc2d5c69b11

倉庫 README 另外給了 npm 安裝方式(需要 Node.js 18+ 與 pnpm),這是作者標註的推薦路徑,會把插件裝進 web profile,並由 DSH 自動把 cordis.patch.yml 合入 profile layer:

dsh plugin --profile web add @linenxi-ctrl/dsh-vision

# 可選:配置 agent 工具平面,讓模型能自己截圖 + 識圖
node ~/.dsh/profiles/web/node_modules/@linenxi-ctrl/dsh-vision/install.mjs

如果本機沒有 pnpm,也可以從 Releases 下載 zip。Windows 雙擊 install.bat,macOS / Linux 執行 bash install.sh。腳本檢測不到 Node.js 時,會嘗試從 npmmirror / 華爲雲 / 騰訊雲拉取免安裝版,不需要管理員權限。裝完後關閉再重新執行 dsh web

卸載對應 uninstall.bat / uninstall.sh / uninstall.mjs。若當初是 npm 安裝的,README 要求先執行:

dsh plugin --profile web remove @linenxi-ctrl/dsh-vision

再跑卸載腳本,清掉 preset 和設置殘留。

配置

點右下角鯨魚按鈕,或直接改 $DSH_HOME/settings.yaml 裏的 vision 段。字段與默認值以 README 爲準:

字段 默認值 說明
apiBase https://api.openai.com/v1 識圖模型基礎路徑
apiKey API 密鑰
model gpt-4o-mini 模型名稱
protocol auto auto / openai-chat / openai-responses / anthropic / gemini / custom
prompt 倉庫內置識圖 skill 可自定義
proxy 例如 http://127.0.0.1:65532
timeoutMs 60000 單次識圖超時(毫秒)
requestTemplate custom:請求體 JSON 模板
responsePath custom:從響應取文本的點號路徑

apiBase 要填到協議對應的基礎路徑。README 的對應關係是:OpenAI 填到 /v1,Anthropic 填 https://api.anthropic.com,Gemini 填到 /v1beta。填錯常見後果是 HTTP 404。

custom 協議的佔位符必須裸寫、不要加引號,支持 {{model}}{{prompt}}{{image}}{{dataUrl}}{{mime}}。鑑權默認是 Authorization: Bearer;README 寫明需要特殊鑑權頭的接口暫不支持。

典型用法

用戶選圖識圖。 先打開一個會話,確認右下角有鯨魚按鈕,再點「發送圖片」。沒有打開會話時,點發送不會有反應。識別文本會自動進當前對話,之後主模型按文本回答。

模型看屏幕。 對 agent 說「看看我現在屏幕上的報錯」。前提是 tool.js 已經寫進當前 preset 的 agent.cordis.yml,並且這個會話用的就是該 preset。npm 安裝後需要再跑一次上面的 install.mjs;zip 一鍵安裝會創建名爲 vision 的 agent preset 並設爲默認。

截圖實現按平臺不同:

  • Windows:PowerShell + System.Drawing
  • macOS:screencapture
  • Linux:ImageMagick 的 import

Linux 上如果截圖失敗,先確認本機裝了 ImageMagick。

適用場景與注意事項

適合已經在用 DeepSeek Harness Web UI、主模型看不到圖、但又有現成視覺 API(OpenAI / Anthropic / Gemini,或兼容這幾類協議的中轉)的人。典型需求包括:把報錯截圖、終端輸出、網頁界面轉成文字再交給編碼 agent,或者讓模型自己截當前屏幕再繼續排查。

它不是內置免費視覺模型。沒有可用的識圖 API 密鑰,插件只提供通道,不會自己「長出」眼睛。它也不替代目錄裏其他視覺插件(例如 modlens、dsh-vision-router);那些項目的鏈路和輸出格式不同,不要按同名去混裝、混配。

使用前建議覈對這幾條:

  1. 插件以當前 dsh 進程權限運行,能截主屏、讀你交給它的本地圖片,也會把圖片發到你配置的外部 API。安裝前看源碼和 MIT 許可證,只裝自己信任的來源。
  2. Harness 仍在 developer preview,本插件的 peerDependencies 釘在 @deepseek-ai/dsh-* ^0.1.0-rc.6@deepseek-ai/cordis ^4.0.1。版本對不上時,優先看倉庫 Issues 和 Releases,而不是假設向前兼容。
  3. 較早的 0.2.4 及之前版本,Release 說明裏記錄過 cordis.patch.yml BOM、client 註冊 id 等問題,可能導致 DSH 無法啓動。當前應使用 v0.2.6
  4. 識圖失敗時按狀態碼排查:401/403 多半是密鑰,404 多半是 apiBase 或協議不匹配;結果爲空可以手動指定 protocol

小結

dsh-vision 把「選圖識圖回傳」和「agent 截圖識圖」接到同一套 host 側視覺服務上,協議覆蓋常見雲廠商接口,並保留 custom 模板。它解決的是純文本 Harness 看不見圖的問題,前提是你自己準備好識圖模型和密鑰。

目錄頁:https://deepseek-harness-plugin.com/zh-CN/plugins/dsh-vision-linenxi-ctrl/

GitHub:https://github.com/linenxi-ctrl/dsh-vision

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜