dsh-plugin-ai-video:在 DeepSeek Harness 裏跑通「大綱到 MP4」的視頻流水線

前言

在 DeepSeek Harness(DSH)裏做講解類短視頻,常見做法是自己在工作區裏拼腳本:分鏡表、TTS、字幕時間軸、預覽頁、ffmpeg 合成,每一步都要和 Agent 對齊目錄結構和重跑策略。dsh-plugin-ai-video 把「大綱 → 分鏡 → 旁白 → 字幕 → MP4」收進一個 DSH 工作流插件:Agent 負責寫大綱與分鏡內容,插件負責落盤、配音與圖像、字幕切片、離線預覽和導出。產品形態參考了 xuanyuanzhifeng/ai-video-agent,實現是針對 DSH 0.2 插件體系重寫的獨立版本,沒有 Next.js、數據庫或前端構建,安裝插件包即可在 Web 對話裏調用工具。

這是什麼

  • 名稱:dsh-plugin-ai-video(倉庫 flynow-harness/dsh-plugin-ai-video)
  • 維護者:flynow-harness
  • 分類:工作流(社區目錄 skillhub.cn 條目;該站點爲社區插件目錄,與 DeepSeek / 幻方無官方從屬關係)
  • 定位:AI video studio plugin for DeepSeek Harness — outline → storyboard → narration → subtitles → MP4,由 Agent 驅動工具鏈完成

一句話:用自然語言描述視頻需求,Agent 調用插件工具創建項目、寫分鏡、生成素材並導出;所有產物落在本地目錄,project.json 可讀可 diff。

核心功能

分工

角色 職責
Agent 寫視頻大綱、每鏡旁白、圖像提示詞;html 模式下直接寫 HTML/CSS/JS 動畫
插件 項目持久化、TTS 配音、圖像生成、時間軸、字幕切片、預覽播放器、ffmpeg 合成 MP4

模式、風格與畫幅

  • 兩種模式:image(每鏡一張圖)、html(每鏡一段網頁動畫)
  • 三種風格:cyber-clean(科技博主)、terminal-matrix(黑客風)、warm-story(暖色系)
  • 三種畫幅:16:9、9:16、1:1(對應 1920×1080 / 1080×1920 / 1080×1080)

增量改稿與無網關兜底

  • video_edit_frames 支持 update / insert / remove / move;改旁白會清理過期配音,改畫面會清理過期圖片。
  • 未配置圖像 / TTS 網關時仍可用:Chrome 渲染內置標題卡作分鏡,macOS say / Linux espeak-ng 作配音;配置 OpenAI 兼容網關後自動切換爲正式服務。
  • 同一份時間軸生成 .srt、.vtt 與預覽播放器字幕層;MP4 爲 H.264 + AAC,本地 ffmpeg 帶 libass 時可燒錄字幕。

Agent 工具一覽

工具 作用
video_create 創建項目(標題、模式、風格、畫幅)
video_outline 寫入或替換整份分鏡
video_edit_frames 局部改稿
video_generate 生成圖片與配音,可只重跑指定分鏡
video_preview 生成字幕與離線預覽(不編碼)
video_render 導出 MP4,並刷新預覽與字幕
video_show 查看項目、分鏡、時間軸、字幕和產物路徑
video_list 列出本機所有視頻項目

Web 端每次工具調用會渲染分鏡卡片,可查看每鏡標題、字數、圖片/配音就緒狀態與時長;離線預覽雙擊項目目錄下的 preview.html 即可播放。

兼容版本

插件版本 DSH 版本
0.1.x dsh@0.2.2-alpha.2

DSH 仍處於預覽階段,升級 DSH 後應安裝對應版本的插件。

安裝與啓用

插件以當前 DSH 進程權限讀寫 $DSH_HOME/ai-video 等路徑,並可調用 ffmpeg、Chrome、外部 API。安裝前建議閱讀倉庫源碼與 MIT 許可證,再決定 profile 與密鑰配置方式。

安裝本地 .tgz(README 推薦寫法)

若已有打包好的 dsh-plugin-ai-video-0.1.0.tgz:

npx --yes @deepseek-ai/dsh@0.2.2-alpha.2 plugin \
  --profile web \
  add ./dsh-plugin-ai-video-0.1.0.tgz

確認安裝:

npx --yes @deepseek-ai/dsh@0.2.2-alpha.2 plugin --profile web list --depth 0

重啓 DSH Web(dsh web 或 pnpm dsh web)後,對話中應出現視頻相關工具卡片。

從 GitHub 安裝

dsh plugin --profile web add github:flynow-harness/dsh-plugin-ai-video

pnpm 11 默認可能因 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 失敗;僅在信任源碼時,可在 profile 的 pnpm-workspace.yaml 中放行:

allowBuilds:
  dsh-plugin-ai-video: true

卸載

dsh plugin --profile web remove dsh-plugin-ai-video

配置要點

默認不配置也能跑(內置標題卡 + 系統語音)。密鑰建議用環境變量,結構化項寫在 $DSH_HOME/profiles/<name>/cordis.patch.yml,例如:

- id: ai-video
  config:
    imageBaseUrl: https://api.openai.com/v1
    imageModel: gpt-image-1
    imageSize: 1536x1024
    ttsBaseUrl: https://api.openai.com/v1
    ttsModel: gpt-4o-mini-tts
    ttsVoice: alloy

常用環境變量包括 DSH_VIDEO_ROOT、DSH_VIDEO_IMAGE_BASE_URL / DSH_VIDEO_IMAGE_API_KEY、DSH_VIDEO_TTS_BASE_URL / DSH_VIDEO_TTS_API_KEY,以及可選的 DSH_VIDEO_FFMPEG、DSH_VIDEO_CHROME 等;完整鍵與默認值見倉庫 README「配置」一節。

典型用法

裝好插件後,用自然語言驅動 Agent 即可,README 示例包括:

幫我做一個 30 秒的「什麼是 RAG」講解視頻,科技博主風格,豎屏
把第 3 鏡改成數據可視化,不要人物
給第 2 鏡換一句更口語化的旁白,重新生成配音
把最後一鏡刪掉,再補一個總結鏡頭,然後導出 MP4

產物默認在 ~/.dsh/ai-video/<project-id>/:project.json、preview.html、assets/ 下的分鏡圖與旁白、out/ 下的 MP4 與字幕文件。

導出 MP4 需要本機 ffmpeg 與 ffprobe(Node.js 版本需與 DSH 一致:22.19+ 或 24+)。macOS 可按 README 使用 brew install ffmpeg 補齊。

適用場景與注意

適合:需要在 DSH Web 對話裏快速做講解短視頻原型、分鏡可迭代、希望「文件即項目」、可離線預覽再導出的開發者或內容實驗。

注意:

  • html 模式導出 MP4 時每鏡取代表幀(約 1.5s),完整動畫保留在 preview.html;逐幀動畫成片更宜用 image 模式。
  • Homebrew 官方 ffmpeg 可能未內置 libass,燒錄字幕失敗時仍會有 .srt/.vtt 與預覽層字幕。
  • 圖像網關需兼容 OpenAI POST /images/generations 及任務式輪詢;項目目錄默認不隨工作區移動。

結尾

dsh-plugin-ai-video 把 Agent 擅長的敘事與改稿,和插件擅長的落盤、配音、字幕、預覽、ffmpeg 合成綁在一起,在 DSH「一切皆插件」的生態裏提供一條可覈對、可 diff 的視頻工作流。目錄頁:https://www.skillhub.cn/plugins/flynow-harness/dsh-plugin-ai-video;源碼與完整配置:https://github.com/flynow-harness/dsh-plugin-ai-video。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜