前言¶
在 DeepSeek Harness(DSH)裏做智能體時,一個常見需求是:模型按純文本路由運行,但任務需要處理圖片、視頻、文檔、代碼和數據。DSH 允許通過插件方式擴展會話能力;dsh-qwen-mm 把 Qwen-MM-Plugins 的能力集成到 DSH,並提供圖片附件橋接,讓純文本模型也能通過 MCP 工具讀取多模態內容。
這是什麼¶
dsh-qwen-mm 是 RRRosmontis 維護的一個 DSH 插件倉庫,許可證爲 MIT。它面向希望在 DeepSeek Harness 中使用多模態讀取、雲端視覺、搜索、視頻工具和 3D/CAD 工具的開發者。
該插件提供三類內容:
- 內置的多模態 skills;
- MCP 服務器行;
- 面向純文本模型路由的圖片附件橋接。
核心功能¶
多模態讀取¶
支持讀圖、讀視頻、讀文檔、讀代碼、讀數據。core 能力不需要密鑰。
雲端視覺、OCR、ASR 與物體定位¶
提供雲端視覺、OCR、ASR、物體定位等能力。相關 api 能力需要 DashScope 密鑰。
網絡搜索與以圖搜圖¶
提供網絡搜索、網頁抽取和以圖搜圖。search 能力需要 Serper、Exa 或 Tavily。
視頻與 3D/CAD 能力¶
支持長視頻問答、視頻剪輯、Blender、FreeCAD 和數學視頻相關任務。
video-memory、video-edit、edu-agent 需要 DashScope 密鑰;視頻工具需要 ffmpeg;Blender、FreeCAD、LibreOffice、Chromium 僅由調用它們的能力按需使用。
拖圖上傳¶
可以把圖片拖進輸入框,由純文本模型通過工具讀取。該功能依賴 DeepSeek Harness 核心改動,尚未進入官方發佈版,需要使用包含該改動的 RRRosmontis/deepseek-harness fork,或應用 deepseek-harness-core.patch。
安裝與啓用¶
安裝插件¶
如果只是安裝插件本身,可使用下面的命令:
pnpm dsh --profile web plugin add github:RRRosmontis/dsh-qwen-mm
安裝後,需要重啓 DSH 的 web profile,並打開新會話。
拖圖前置¶
拖圖功能需要額外處理核心側改動。可選方式是:
- 使用包含該改動的
RRRosmontis/deepseek-harnessfork; - 應用
deepseek-harness-core.patch後再使用 DSH。
該 patch 基於 DeepSeek Harness master 頂點(commit 47f9438)生成。對更舊或更新版本,可能需要手動合併。
密鑰與依賴¶
DSH 會過濾 MCP 子進程環境裏的憑據類變量,因此密鑰應寫入共享配置文件,而不是環境變量。
按能力區分:
core:無需密鑰;api、video-memory、video-edit、edu-agent:需要 DashScope 密鑰;search:需要 Serper、Exa 或 Tavily;- 視頻工具:需要 ffmpeg;
- Blender、FreeCAD、LibreOffice、Chromium:僅由調用它們的能力按需使用。
典型用法¶
在會話中引用文件後提出任務:
@report.pdf 總結第 3 頁並提取表格。
@meeting.mp4 轉寫這段會議並標註說話人與時間戳。
@place.jpg 識別這張照片的拍攝地點並在網上覈實。
也可以直接把圖片拖進輸入框提問。注意:拖圖功能需要使用上述 fork 或核心 patch。
適用場景與注意¶
適合在 DSH 中爲純文本模型路由增加多模態輸入、搜索、視頻處理或 3D/CAD 工具鏈的開發者。使用前需要確認:
- 是否需要拖圖;需要則先處理 fork 或核心 patch;
- 當前 profile 是否已配置對應密鑰;
- 本機是否已有 ffmpeg、Blender、FreeCAD、LibreOffice、Chromium 等按需依賴;
assets/skills/內容來自 Apache-2.0 協議的 Qwen-MM-Plugins,上游保留其版權與許可證;插件本身許可證爲 MIT。
DSH 插件以當前 dsh 進程權限運行。安裝前,建議檢查插件源碼、依賴、核心 patch 和許可證,再決定是否啓用。
獲取¶
GitHub 倉庫:
https://github.com/RRRosmontis/dsh-qwen-mm
DeepSeek Harness 社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係;已覈實資料中沒有給出該插件的目錄頁 URL,本文不在此拼接具體地址。