DeepSeek 的主模型通常是純文本的。當任務涉及截圖、圖表、語音備忘錄、視頻片段或 PDF 時，純文本模型無法直接處理這些非結構化數據。dsh-gemini-multimodal 插件解決了這個問題，它充當「眼睛和耳朵」，將視覺和聽覺任務委託給 Google Gemini，讓 DeepSeek Harness 能夠進行圖像、音頻、視頻理解、轉錄和圖像生成，同時將判斷邏輯保留在主模型中。
插件簡介¶
這是 dsh-gemini-multimodal，由 RealAlexandreAI 維護。DeepSeek Harness 的理念是「一切皆插件」，該插件通過集成 Gemini 的多模態能力，彌補了 DeepSeek 模型在感知層面的不足。它不修改主模型，而是作爲工具層存在，讓智能體在需要時能夠「看」和「聽」。
核心功能¶
插件提供以下能力：
- 多模態分析：分析圖像 / 音頻 / 視頻 / URL（支持 OCR、圖表、UI 界面識別、語音轉文字）。
- 轉錄：獲取音頻 / 視頻的逐字文本記錄。
- 圖像生成：根據文本提示生成 PNG 圖片並保存到本地。
- 文檔理解：對 PDF / Office / 文本文件進行總結或回答具體問題。
安裝與啓用¶
安裝命令如下：
dsh plugin --profile web add dsh-gemini-multimodal
安裝完成後，需要在 DeepSeek Harness 的配置中啓用該插件。
配置與提供者¶
插件支持兩種提供者模式，需要在配置中指定。如果不配置，默認使用 antigravity_cli 模式（前提是本地已安裝 agy）。
1. 使用 gemini_api（推薦用於無頭環境）¶
需要從 aistudio.google.com 獲取 API 密鑰。此模式直接通過 HTTP 調用 Google API。
- id: gemini-multimodal
name: dsh-gemini-multimodal
config:
provider: gemini_api
api_key: <your gemini key>
2. 使用 antigravity_cli（默認）¶
使用本地安裝的 agy 命令行工具，通過 Google 賬戶授權，無需管理 API 密鑰。安裝 agy 後運行一次並登錄即可。
- id: gemini-multimodal
name: dsh-gemini-multimodal
config:
provider: antigravity_cli
典型用法¶
啓用插件後，可以在 Prompt 或工具調用中使用以下工具：
- media_understand：用於分析輸入的媒體內容，如截圖或音頻文件。
- media_transcribe：用於提取音頻或視頻的逐字文本。
- image_generate：根據文本描述生成圖片。
- read_document：用於讀取和問答 PDF 或 Office 文檔。
注意事項¶
- 權限與安全：在使用
antigravity_cli時，由於無頭模式下無法交互式獲取權限，插件默認傳遞--dangerously-skip-permissions參數。這會授予該次運行完整的工具訪問權限。如需更嚴格的權限控制，可設置skip_permissions: false並在本地配置中添加允許規則。 - 隱私：使用
gemini_api時，媒體內容以 base64 格式直接發送給 Google；使用antigravity_cli時，媒體由本地代理讀取後發送。此插件本身不記錄任何日誌。 - 速率限制：免費層級的圖像生成功能有速率限制，可能會遇到 429 錯誤。
總結¶
dsh-gemini-multimodal 通過將多模態處理能力委託給 Gemini，讓 DeepSeek Harness 能夠處理圖像、音頻和文檔任務。對於需要 DeepSeek 模型進行復雜推理，同時需要處理非文本輸入的場景，這是一個實用的插件方案。
