DeepSeek 的主模型通常是纯文本的。当任务涉及截图、图表、语音备忘录、视频片段或 PDF 时，纯文本模型无法直接处理这些非结构化数据。dsh-gemini-multimodal 插件解决了这个问题，它充当「眼睛和耳朵」，将视觉和听觉任务委托给 Google Gemini，让 DeepSeek Harness 能够进行图像、音频、视频理解、转录和图像生成，同时将判断逻辑保留在主模型中。
插件简介¶
这是 dsh-gemini-multimodal，由 RealAlexandreAI 维护。DeepSeek Harness 的理念是「一切皆插件」，该插件通过集成 Gemini 的多模态能力，弥补了 DeepSeek 模型在感知层面的不足。它不修改主模型，而是作为工具层存在，让智能体在需要时能够「看」和「听」。
核心功能¶
插件提供以下能力：
- 多模态分析：分析图像 / 音频 / 视频 / URL（支持 OCR、图表、UI 界面识别、语音转文字）。
- 转录：获取音频 / 视频的逐字文本记录。
- 图像生成：根据文本提示生成 PNG 图片并保存到本地。
- 文档理解：对 PDF / Office / 文本文件进行总结或回答具体问题。
安装与启用¶
安装命令如下：
dsh plugin --profile web add dsh-gemini-multimodal
安装完成后，需要在 DeepSeek Harness 的配置中启用该插件。
配置与提供者¶
插件支持两种提供者模式，需要在配置中指定。如果不配置，默认使用 antigravity_cli 模式（前提是本地已安装 agy）。
1. 使用 gemini_api（推荐用于无头环境）¶
需要从 aistudio.google.com 获取 API 密钥。此模式直接通过 HTTP 调用 Google API。
- id: gemini-multimodal
name: dsh-gemini-multimodal
config:
provider: gemini_api
api_key: <your gemini key>
2. 使用 antigravity_cli（默认）¶
使用本地安装的 agy 命令行工具，通过 Google 账户授权，无需管理 API 密钥。安装 agy 后运行一次并登录即可。
- id: gemini-multimodal
name: dsh-gemini-multimodal
config:
provider: antigravity_cli
典型用法¶
启用插件后，可以在 Prompt 或工具调用中使用以下工具：
- media_understand：用于分析输入的媒体内容，如截图或音频文件。
- media_transcribe：用于提取音频或视频的逐字文本。
- image_generate：根据文本描述生成图片。
- read_document：用于读取和问答 PDF 或 Office 文档。
注意事项¶
- 权限与安全：在使用
antigravity_cli时，由于无头模式下无法交互式获取权限，插件默认传递--dangerously-skip-permissions参数。这会授予该次运行完整的工具访问权限。如需更严格的权限控制，可设置skip_permissions: false并在本地配置中添加允许规则。 - 隐私：使用
gemini_api时，媒体内容以 base64 格式直接发送给 Google；使用antigravity_cli时，媒体由本地代理读取后发送。此插件本身不记录任何日志。 - 速率限制：免费层级的图像生成功能有速率限制，可能会遇到 429 错误。
总结¶
dsh-gemini-multimodal 通过将多模态处理能力委托给 Gemini，让 DeepSeek Harness 能够处理图像、音频和文档任务。对于需要 DeepSeek 模型进行复杂推理，同时需要处理非文本输入的场景，这是一个实用的插件方案。
