前言¶
DeepSeek Harness (DSH) 的核心設計理念是“一切皆插件”。在開發基於文本模型的智能體時，模型本身往往不直接具備處理圖像、音頻或生成圖像的能力。需要通過調用外部工具來實現這些功能。wuwangmao/dsh-qwen-multimodal 插件提供了一個統一的入口，將 Qwen 系列的多模態能力橋接給 DSH 中的純文本模型使用。
這是什麼¶
這是一個 DSH bundle，旨在爲 DeepSeek Harness 提供多模態支持。它通過 Qwen 的 API（包括視覺語言模型、語音識別和圖像生成模型），讓文本模型具備圖像理解、語音轉錄和本地繪圖的能力。
該插件是一個純 JavaScript (Cordis) bundle，運行時依賴主機掛載的 subprocess 或 tools 服務，不依賴構建步驟。
核心能力¶
插件提供了三個工具函數，分別對應不同的多模態任務：
- describe_image：用於圖像理解。支持截圖、OCR、圖表分析，可同時處理多張圖片。默認使用
qwen3-vl-flash模型。 - transcribe_audio：用於語音轉錄。支持 wav/mp3/m4a/aac/flac/ogg/amr 等常見格式。默認使用
qwen3-asr-flash模型。 - generate_image：用於文本生成圖像並保存到本地。默認使用
qwen-image-plus模型。
所有媒體內容在處理時不會進入主模型的上下文，而是轉換爲文本返回，保持主模型處理的高效性。
安裝與配置¶
安裝¶
在終端中執行以下命令將插件添加到指定 profile：
dsh plugin --profile demo add github:wuwangmao/dsh-qwen-multimodal
如果是從本地目錄或 tarball 安裝，可以使用以下命令：
dsh plugin --profile demo add ./dsh-qwen-multimodal
# 或
pnpm pack
dsh plugin --profile demo add ./dsh-qwen-multimodal-0.1.0.tgz
配置前置條件¶
- Python 環境：必須安裝 Python 3.10 或更高版本（圖像生成腳本使用了
int | None類型註解）。 - API Key：需要配置阿里雲百鍊的 API Key。插件複用該 Key 進行視覺、語音和圖像生成。
- Python 路徑：插件默認從系統 PATH 中解析
python命令。如果解析失敗，需在 profile 的cordis.patch.yml中重述該行並設置config.pythonPath。
配置文件¶
安裝後，需要配置環境變量文件。複製示例文件並編輯：
cp skills/deepseek-vision/.env.example skills/deepseek-vision/.env
在 .env 文件中填入 VISION_API_KEY（在阿里雲百鍊控制台創建）。
使用示例¶
插件加載後，模型可以直接調用上述三個工具。以下爲典型用法：
- 圖像理解與 OCR
describe_image({ images: ['screenshot.png'] })
// 用於提取圖片中的文字、代碼或錯誤信息
describe_image({ images: ['chart.png'], prompt: '逐字提取圖中所有文字，保留原樣' })
// 自定義 prompt 以獲得更精準的輸出
- 語音轉文字
transcribe_audio({ audios: ['recording.m4a'], language: 'zh' })
// 指定語言以提高轉錄準確度
- 文本生成圖像
generate_image({ prompt: 'a cute orange cat on a windowsill watching the sunset', out_dir: './out' })
// 生成圖像並保存到本地指定目錄
- 生成質量檢查
generate_image({ prompt: '...', out_dir: './out', verify: true })
// 生成後自動使用 Qwen VL 對結果進行質量檢查，確保符合提示詞要求
注意事項¶
- 權限與依賴：插件運行在當前 DSH 進程的權限下，安裝前請檢查源碼。
- 環境變量位置：建議將
.env文件配置在外部目錄（如D:/qwen-vision），通過cordis.patch.yml中的skillDir指向，避免密鑰進入node_modules。 - 許可證：本項目採用 MIT 許可證。
結語¶
wuwangmao/dsh-qwen-multimodal 解決了在 DSH 中快速集成多模態能力的痛點。通過將 Qwen 的 API 能力封裝爲標準的 DSH 工具，開發者可以專注於模型邏輯，無需處理底層的 API 調用與文件讀寫細節。
插件目錄：https://www.skillhub.cn/plugins/wuwangmao/dsh-qwen-multimodal
GitHub 倉庫：https://github.com/wuwangmao/dsh-qwen-multimodal
