dsh-qwen-mm:爲 DeepSeek Harness 增加多模態讀取與工具集成

前言

在 DeepSeek Harness(DSH)裏做智能體時,一個常見需求是:模型按純文本路由運行,但任務需要處理圖片、視頻、文檔、代碼和數據。DSH 允許通過插件方式擴展會話能力;dsh-qwen-mm 把 Qwen-MM-Plugins 的能力集成到 DSH,並提供圖片附件橋接,讓純文本模型也能通過 MCP 工具讀取多模態內容。

這是什麼

dsh-qwen-mm 是 RRRosmontis 維護的一個 DSH 插件倉庫,許可證爲 MIT。它面向希望在 DeepSeek Harness 中使用多模態讀取、雲端視覺、搜索、視頻工具和 3D/CAD 工具的開發者。

該插件提供三類內容:

  • 內置的多模態 skills;
  • MCP 服務器行;
  • 面向純文本模型路由的圖片附件橋接。

核心功能

多模態讀取

支持讀圖、讀視頻、讀文檔、讀代碼、讀數據。core 能力不需要密鑰。

雲端視覺、OCR、ASR 與物體定位

提供雲端視覺、OCR、ASR、物體定位等能力。相關 api 能力需要 DashScope 密鑰。

網絡搜索與以圖搜圖

提供網絡搜索、網頁抽取和以圖搜圖。search 能力需要 Serper、Exa 或 Tavily。

視頻與 3D/CAD 能力

支持長視頻問答、視頻剪輯、Blender、FreeCAD 和數學視頻相關任務。

video-memory、video-edit、edu-agent 需要 DashScope 密鑰;視頻工具需要 ffmpeg;Blender、FreeCAD、LibreOffice、Chromium 僅由調用它們的能力按需使用。

拖圖上傳

可以把圖片拖進輸入框,由純文本模型通過工具讀取。該功能依賴 DeepSeek Harness 核心改動,尚未進入官方發佈版,需要使用包含該改動的 RRRosmontis/deepseek-harness fork,或應用 deepseek-harness-core.patch。

安裝與啓用

安裝插件

如果只是安裝插件本身,可使用下面的命令:

pnpm dsh --profile web plugin add github:RRRosmontis/dsh-qwen-mm

安裝後,需要重啓 DSH 的 web profile,並打開新會話。

拖圖前置

拖圖功能需要額外處理核心側改動。可選方式是:

  1. 使用包含該改動的 RRRosmontis/deepseek-harness fork;
  2. 應用 deepseek-harness-core.patch 後再使用 DSH。

該 patch 基於 DeepSeek Harness master 頂點(commit 47f9438)生成。對更舊或更新版本,可能需要手動合併。

密鑰與依賴

DSH 會過濾 MCP 子進程環境裏的憑據類變量,因此密鑰應寫入共享配置文件,而不是環境變量。

按能力區分:

  • core:無需密鑰;
  • api、video-memory、video-edit、edu-agent:需要 DashScope 密鑰;
  • search:需要 Serper、Exa 或 Tavily;
  • 視頻工具:需要 ffmpeg;
  • Blender、FreeCAD、LibreOffice、Chromium:僅由調用它們的能力按需使用。

典型用法

在會話中引用文件後提出任務:

@report.pdf    總結第 3 頁並提取表格。
@meeting.mp4   轉寫這段會議並標註說話人與時間戳。
@place.jpg     識別這張照片的拍攝地點並在網上覈實。

也可以直接把圖片拖進輸入框提問。注意:拖圖功能需要使用上述 fork 或核心 patch。

適用場景與注意

適合在 DSH 中爲純文本模型路由增加多模態輸入、搜索、視頻處理或 3D/CAD 工具鏈的開發者。使用前需要確認:

  • 是否需要拖圖;需要則先處理 fork 或核心 patch;
  • 當前 profile 是否已配置對應密鑰;
  • 本機是否已有 ffmpeg、Blender、FreeCAD、LibreOffice、Chromium 等按需依賴;
  • assets/skills/ 內容來自 Apache-2.0 協議的 Qwen-MM-Plugins,上游保留其版權與許可證;插件本身許可證爲 MIT。

DSH 插件以當前 dsh 進程權限運行。安裝前,建議檢查插件源碼、依賴、核心 patch 和許可證,再決定是否啓用。

獲取

GitHub 倉庫:

https://github.com/RRRosmontis/dsh-qwen-mm

DeepSeek Harness 社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係;已覈實資料中沒有給出該插件的目錄頁 URL,本文不在此拼接具體地址。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜