前言¶

在 DeepSeek Harness（DSH）里做智能体，常见做法是单独接图像 API、再单独接视频或 TTS，工具分散、模型 id 和协议各写一套。若希望对话里统一走 OpenAI 兼容网关，并从现有「设置 > 模型」配置里自动发现可用模型，可以装社区插件 dsh-llm-multimodal（维护者 xiaokaizhou，分类：模型推理）。下面介绍它是什么、怎么装、怎么配、日常怎么用，以及和同作者配套插件如何配合。

这是什么¶

dsh-llm-multimodal 是 DSH 插件：在聊天中提供 文本 / 图像 / 视频 / 视觉理解 / 语音 / 音乐 六个生成工具，基于 OpenAI 兼容 API（generate_text 除外，走 harness 的 LlmRuntime）。npm 包名 dsh-llm-multimodal，当前资料中的版本为 0.2.0，许可证 MIT。

六个工具名：generate_text、generate_image、generate_video、generate_vision、generate_tts、generate_music。插件会根据 llm-pi-ai 里已配置的模型 id 是否包含 image、video、vision、tts、music 等关键词，自动判断该工具是否可用，无需为每个工具再写一份独立配置。

核心功能¶

模型发现规则¶

模型 id 含 image / flux / dall / imagen / sdxl、video / sora / seedance / kling、vision / qwen-vl / llava、tts / speech / voice、music / song / lyric 等关键词时，对应工具即可使用。具体关键词列表见 GitHub README。

各工具能力（资料已核实部分）¶

图像 / 视频 / 视觉 / TTS / music 五类工具要求 provider 为 OpenAI 兼容（默认 apiProtocol: openai）；若配成其他协议，调用前会拒绝并提示。generate_tts 支持 MiniMax 预设音色与 clone_audio + voice_name 音色克隆（持久化在 ~/.dsh/llm-multimodal-voices.json），需 provider 支持 MiniMax 兼容的 files/upload 与 voice_clone。

与 media-studio、media-preview 的配合¶

同作者建议与 dsh-media-studio（画布与素材编排）、media-preview（聊天内媒体预览）一起用，形成「生成 → 编排 → 预览」闭环。安装 media-studio 后，generate_image / generate_video / generate_tts / generate_music 默认 outputStrategy=project，产物写入活跃项目的 assets/ 下对应目录，并返回 projectId、canvasUrl；未安装或无活跃项目时回退 outputDir（空则 /tmp）。media-preview 负责把 file:// 路径渲染为内联预览。

安装与启用¶

插件以当前 DSH 进程权限运行；安装前建议浏览 GitHub 仓库 源码与 LICENSE。Node 引擎要求见 package.json：^22.19.0 || >=24.0.0。

1、进入 DSH web profile 目录：

cd ~/.dsh/profiles/web

2、推荐用官方命令安装（自动写入 bundles 与 cordis.patch.yml）：

dsh plugin --profile web add xiaokaizhou/dsh-llm-multimodal

3、若用 pnpm 直装，需在 profile 根目录的 package.json 中手动加入 bundle（路径默认 ~/.dsh/profiles/web/package.json；Windows 为 %USERPROFILE%\.dsh\profiles\web\package.json；自定义 $DSH_HOME 时对应 $DSH_HOME/profiles/web/package.json）：

pnpm add xiaokaizhou/dsh-llm-multimodal

"dsh": {
  "profile": {
    "bundles": [
      "dsh-llm-multimodal"
    ]
  }
}

4、修改配置或源码后重启 dsh web。

配置模型¶

1、在 DSH「设置 > 模型」中添加 provider，baseURL 指向你的 OpenAI 兼容网关。
2、在模型 id 中包含 image、video 等关键词，插件会自动识别。
3、通过 apiKeyEnv 指定环境变量，或在 provider 中直接填写 apiKey。
4、重启 dsh web。

示例 llm-pi-ai 结构：

llm-pi-ai:
  providers:
    - id: openai
      baseURL: https://api.openai.com/v1
      apiKeyEnv: OPENAI_API_KEY
      models:
        - id: gpt-image-1
          name: GPT Image
    - id: agnes
      baseURL: https://api.agnes.ai/v1
      apiKeyEnv: AGNES_API_KEY
      models:
        - id: agnes-video-2.5
          name: Agnes Video

说明：资料写明当前版本「自动 provider 配置界面已暂停」，以 llm-pi-ai 自动发现为主。

典型用法¶

在 DSH 对话中自然描述需求，助手会选用对应工具：

• 提问或续写 → generate_text
• 描述画面 → generate_image
• 描述视频内容 → generate_video
• 提供图片路径或链接并提问 → generate_vision
• 文本转语音或音乐/BGM → generate_tts / generate_music

工具会从配置中发现可用模型，一般无需额外传 model 参数（也可在对话中指定）。视频生成采用轮询，最长等待约 10 分钟。

适用场景与注意¶

适合谁：已在 DSH 里配置 llm-pi-ai、希望一套聊天工具覆盖文生图、文生视频、看图问答、TTS/音乐，且后端多为 OpenAI 兼容网关的开发者。

注意：

• 除 generate_text 外，多模态工具依赖 provider 的 OpenAI 兼容接口。
• 插件与社区目录 SkillHub 插件页 属社区生态，与 DeepSeek / 幻方无官方从属关系；DSH 本身理念是「一切皆插件」。
• 需要画布落盘与预览时，按需安装 dsh-media-studio、media-preview，安装顺序无硬依赖。

结尾¶

dsh-llm-multimodal 把六类生成能力收成 DSH 工具，并从 llm-pi-ai 自动认模型，减少重复接 API 的工作。目录与文档：

• 社区目录：https://www.skillhub.cn/plugins/xiaokaizhou/dsh-llm-multimodal
• GitHub：https://github.com/xiaokaizhou/dsh-llm-multimodal