前言¶
在 DeepSeek Harness（DSH）里做智能体或日常对话时，工作区里常有会议录音、演示视频、采访素材。主对话模型通常只处理文本，若要「听一段 WAV、看一段 MP4 再回答」，往往要自建脚本：抽音频、调多模态 API、把结果塞回上下文。Media Sense 是 DSH 社区插件，把本地音视频交给你在插件里配置的模型，由 DSH 整理成文字回答；音频与视频可各选模型，并附带 FFmpeg 检测与安装入口。
这是什么¶
Media Sense（GitHub：xhznAI/media-sense，npm 包名 @nex-assistant/media-sense）由 xhznAI 维护，归类为模型推理。当前 README 标明版本 v0.1.2，许可证 MIT，兼容 DSH >=0.2.1-rc.3 且 <0.2.2-0 的 Web 与 Desktop。插件简介：为 DeepSeek Harness 提供可配置模型的音视频理解，以及 FFmpeg 相关设置。
核心功能¶
下面介绍 README 与配置说明中已写明的部分。
-
模型接入：在 设置 → Media Sense → 添加模型 中填写模型 ID、接口地址、API Key，选择接口格式与输入能力；保存后分别指定 音频模型 与 视频模型。显示名称可自定，模型 ID 须与服务商一致；接口格式须与实际实现一致，「兼容 OpenAI」不保证所有音视频扩展通用。
-
素材分析：把文件放在 DSH 工作区，在对话中说明路径与问题。插件将本地音视频发给所选模型，返回文字结果；主对话模型仍负责最终回答，输入框显示的是主对话模型。
-
FFmpeg：插件提供 FFmpeg / FFprobe 的检测与安装入口；长素材或需单独处理对白时，可配合 FFmpeg（例如从视频提取音频）。
-
体量限制：默认每次请求音频与视频合计 25 MB，可在各模型卡片上分别调整音频、视频上限；插件不会自动压缩或切片，服务商的请求体、时长与上下文限制仍适用。
-
接口格式与推荐模型（以插件内的接口格式名称为准，型号以你的服务商账号为准）：
| 接口格式 | README 推荐起点 | 本插件可发送的素材 |
|---|---|---|
| Google Gemini | gemini-3.8-flash |
音频、视频 |
| OpenAI Chat Completions | gpt-audio-1.5 |
WAV / MP3 音频（不发送视频，不生成语音） |
| Qwen Omni | qwen3.8-omni-flash |
音频、视频 |
| MiMo Omni | mimo-v2.6-flash、mimo-v2.6-pro |
音频、视频 |
| Kimi Video | kimi-k3.1-pro、kimi-k2.6 |
视频画面 |
| GLM Video | glm-4.6v（兼容性待验证） |
视频画面；插件以 Base64 发送本地视频，接入前需验证所用服务端 |
Kimi Video、GLM Video 在插件中用于画面理解，不能据此假定支持视频内声音；需分析对白或环境音时，应选支持对应输入的模型，或先用 FFmpeg 提取音频。
安装与启用¶
终端安装 Web profile 时，需在 PATH 中准备好 dsh 与 pnpm，并使用 Node.js 24 或更高版本。
图形界面：侧栏 插件 → 添加插件，填入以下来源，安装后启用 Media Sense。更新时先卸载旧版，再用同一来源安装新版。
github:xhznAI/media-sense#v0.1.2
终端（Web profile）：
# 安装或更新到 v0.1.2
dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2
# 卸载
dsh plugin --profile web remove @nex-assistant/media-sense
更新到其他版本时，将命令中的标签替换为目标版本后重新执行；固定标签不会通过 update 自动切换。终端操作后需重启对应的 Web profile。其他安装方式见仓库内 docs/setup.md。
典型用法¶
先做模型配置，再在对话里指向工作区文件。
-
打开 设置 → Media Sense → 添加模型，完成各字段并选定音频模型、视频模型，保存。
-
在工作区放入素材，例如 README 中的示例：
用 Media Sense 分析
demo.mp4，按时间线列出主要画面，并标出值得回看的片段。
README 还列举了可复现的问法方向：会议录音（整理决议与负责人、标听不清处）、产品演示（按时间线讲步骤、找适合做封面的画面）、采访（转写、区分说话人、摘要）、或先检查 FFmpeg / FFprobe 是否就绪。具体效果取决于所选模型与素材；仓库 README 附有音频转写摘要、视频对白与画面说明的实机截图说明。
适用场景与注意¶
适合谁：已在 DSH Web 或 Desktop 上工作、需要从工作区本地音视频得到文字分析，并愿意自备多模态 API 的开发者或团队。若只需语音输入或全双工语音交互，DSH 社区另有 dsh-ears、dsh-voice 等方向，与 Media Sense 的定位不同。
环境与权限：插件在 当前 DSH 进程权限 下运行，会读取工作区内的媒体文件并向你配置的接口发送请求。安装前应阅读仓库源码与 MIT 许可证，确认 API Key 与素材处理方式符合你的策略；Key 与文件处理说明见 docs/setup.md。
生态说明：DSH 采用「一切皆插件」的扩展方式；社区目录站点（如 SkillHub 上的插件页）独立于 DeepSeek / 幻方，并非官方应用商店。
结尾¶
Media Sense 把「本地音视频 → 可配置多模态模型 → 文字结果」接到 DSH 的设置页与对话流里，减少自建抽帧、调 API 的胶水代码。查阅目录与源码：
- 目录页：https://www.skillhub.cn/plugins/xhznAI/media-sense
- GitHub：https://github.com/xhznAI/media-sense
