前言¶
在 DeepSeek Harness（DSH）裏做智能體或日常對話時，工作區裏常有會議錄音、演示視頻、採訪素材。主對話模型通常只處理文本，若要「聽一段 WAV、看一段 MP4 再回答」，往往要自建腳本：抽音頻、調多模態 API、把結果塞回上下文。Media Sense 是 DSH 社區插件，把本地音視頻交給你在插件裏配置的模型，由 DSH 整理成文字回答；音頻與視頻可各選模型，並附帶 FFmpeg 檢測與安裝入口。
這是什麼¶
Media Sense（GitHub：xhznAI/media-sense，npm 包名 @nex-assistant/media-sense）由 xhznAI 維護，歸類爲模型推理。當前 README 標明版本 v0.1.2，許可證 MIT，兼容 DSH >=0.2.1-rc.3 且 <0.2.2-0 的 Web 與 Desktop。插件簡介：爲 DeepSeek Harness 提供可配置模型的音視頻理解，以及 FFmpeg 相關設置。
核心功能¶
下面介紹 README 與配置說明中已寫明的部分。
-
模型接入：在 設置 → Media Sense → 添加模型 中填寫模型 ID、接口地址、API Key，選擇接口格式與輸入能力；保存後分別指定 音頻模型 與 視頻模型。顯示名稱可自定，模型 ID 須與服務商一致；接口格式須與實際實現一致，「兼容 OpenAI」不保證所有音視頻擴展通用。
-
素材分析：把文件放在 DSH 工作區，在對話中說明路徑與問題。插件將本地音視頻發給所選模型，返回文字結果；主對話模型仍負責最終回答，輸入框顯示的是主對話模型。
-
FFmpeg：插件提供 FFmpeg / FFprobe 的檢測與安裝入口；長素材或需單獨處理對白時，可配合 FFmpeg（例如從視頻提取音頻）。
-
體量限制：默認每次請求音頻與視頻合計 25 MB，可在各模型卡片上分別調整音頻、視頻上限；插件不會自動壓縮或切片，服務商的請求體、時長與上下文限制仍適用。
-
接口格式與推薦模型（以插件內的接口格式名稱爲準，型號以你的服務商賬號爲準）：
| 接口格式 | README 推薦起點 | 本插件可發送的素材 |
|---|---|---|
| Google Gemini | gemini-3.8-flash |
音頻、視頻 |
| OpenAI Chat Completions | gpt-audio-1.5 |
WAV / MP3 音頻（不發送視頻，不生成語音） |
| Qwen Omni | qwen3.8-omni-flash |
音頻、視頻 |
| MiMo Omni | mimo-v2.6-flash、mimo-v2.6-pro |
音頻、視頻 |
| Kimi Video | kimi-k3.1-pro、kimi-k2.6 |
視頻畫面 |
| GLM Video | glm-4.6v（兼容性待驗證） |
視頻畫面；插件以 Base64 發送本地視頻，接入前需驗證所用服務端 |
Kimi Video、GLM Video 在插件中用於畫面理解，不能據此假定支持視頻內聲音；需分析對白或環境音時，應選支持對應輸入的模型，或先用 FFmpeg 提取音頻。
安裝與啓用¶
終端安裝 Web profile 時，需在 PATH 中準備好 dsh 與 pnpm，並使用 Node.js 24 或更高版本。
圖形界面：側欄 插件 → 添加插件，填入以下來源，安裝後啓用 Media Sense。更新時先卸載舊版，再用同一來源安裝新版。
github:xhznAI/media-sense#v0.1.2
終端（Web profile）：
# 安裝或更新到 v0.1.2
dsh plugin --profile web add github:xhznAI/media-sense#v0.1.2
# 卸載
dsh plugin --profile web remove @nex-assistant/media-sense
更新到其他版本時，將命令中的標籤替換爲目標版本後重新執行；固定標籤不會通過 update 自動切換。終端操作後需重啓對應的 Web profile。其他安裝方式見倉庫內 docs/setup.md。
典型用法¶
先做模型配置，再在對話裏指向工作區文件。
-
打開 設置 → Media Sense → 添加模型，完成各字段並選定音頻模型、視頻模型，保存。
-
在工作區放入素材，例如 README 中的示例：
用 Media Sense 分析
demo.mp4，按時間線列出主要畫面，並標出值得回看的片段。
README 還列舉了可復現的問法方向：會議錄音（整理決議與負責人、標聽不清處）、產品演示（按時間線講步驟、找適合做封面的畫面）、採訪（轉寫、區分說話人、摘要）、或先檢查 FFmpeg / FFprobe 是否就緒。具體效果取決於所選模型與素材；倉庫 README 附有音頻轉寫摘要、視頻對白與畫面說明的實機截圖說明。
適用場景與注意¶
適合誰：已在 DSH Web 或 Desktop 上工作、需要從工作區本地音視頻得到文字分析，並願意自備多模態 API 的開發者或團隊。若只需語音輸入或全雙工語音交互，DSH 社區另有 dsh-ears、dsh-voice 等方向，與 Media Sense 的定位不同。
環境與權限：插件在 當前 DSH 進程權限 下運行，會讀取工作區內的媒體文件並向你配置的接口發送請求。安裝前應閱讀倉庫源碼與 MIT 許可證，確認 API Key 與素材處理方式符合你的策略；Key 與文件處理說明見 docs/setup.md。
生態說明：DSH 採用「一切皆插件」的擴展方式；社區目錄站點（如 SkillHub 上的插件頁）獨立於 DeepSeek / 幻方，並非官方應用商店。
結尾¶
Media Sense 把「本地音視頻 → 可配置多模態模型 → 文字結果」接到 DSH 的設置頁與對話流裏，減少自建抽幀、調 API 的膠水代碼。查閱目錄與源碼：
- 目錄頁：https://www.skillhub.cn/plugins/xhznAI/media-sense
- GitHub：https://github.com/xhznAI/media-sense
