前言¶
在 DeepSeek Harness(DSH)裏做講解類短視頻,常見做法是自己在工作區裏拼腳本:分鏡表、TTS、字幕時間軸、預覽頁、ffmpeg 合成,每一步都要和 Agent 對齊目錄結構和重跑策略。dsh-plugin-ai-video 把「大綱 → 分鏡 → 旁白 → 字幕 → MP4」收進一個 DSH 工作流插件:Agent 負責寫大綱與分鏡內容,插件負責落盤、配音與圖像、字幕切片、離線預覽和導出。產品形態參考了 xuanyuanzhifeng/ai-video-agent,實現是針對 DSH 0.2 插件體系重寫的獨立版本,沒有 Next.js、數據庫或前端構建,安裝插件包即可在 Web 對話裏調用工具。
這是什麼¶
- 名稱:
dsh-plugin-ai-video(倉庫 flynow-harness/dsh-plugin-ai-video) - 維護者:flynow-harness
- 分類:工作流(社區目錄 skillhub.cn 條目;該站點爲社區插件目錄,與 DeepSeek / 幻方無官方從屬關係)
- 定位:AI video studio plugin for DeepSeek Harness — outline → storyboard → narration → subtitles → MP4,由 Agent 驅動工具鏈完成
一句話:用自然語言描述視頻需求,Agent 調用插件工具創建項目、寫分鏡、生成素材並導出;所有產物落在本地目錄,project.json 可讀可 diff。
核心功能¶
分工¶
| 角色 | 職責 |
|---|---|
| Agent | 寫視頻大綱、每鏡旁白、圖像提示詞;html 模式下直接寫 HTML/CSS/JS 動畫 |
| 插件 | 項目持久化、TTS 配音、圖像生成、時間軸、字幕切片、預覽播放器、ffmpeg 合成 MP4 |
模式、風格與畫幅¶
- 兩種模式:
image(每鏡一張圖)、html(每鏡一段網頁動畫) - 三種風格:
cyber-clean(科技博主)、terminal-matrix(黑客風)、warm-story(暖色系) - 三種畫幅:
16:9、9:16、1:1(對應 1920×1080 / 1080×1920 / 1080×1080)
增量改稿與無網關兜底¶
video_edit_frames支持update/insert/remove/move;改旁白會清理過期配音,改畫面會清理過期圖片。- 未配置圖像 / TTS 網關時仍可用:Chrome 渲染內置標題卡作分鏡,macOS
say/ Linuxespeak-ng作配音;配置 OpenAI 兼容網關後自動切換爲正式服務。 - 同一份時間軸生成
.srt、.vtt與預覽播放器字幕層;MP4 爲 H.264 + AAC,本地 ffmpeg 帶 libass 時可燒錄字幕。
Agent 工具一覽¶
| 工具 | 作用 |
|---|---|
video_create |
創建項目(標題、模式、風格、畫幅) |
video_outline |
寫入或替換整份分鏡 |
video_edit_frames |
局部改稿 |
video_generate |
生成圖片與配音,可只重跑指定分鏡 |
video_preview |
生成字幕與離線預覽(不編碼) |
video_render |
導出 MP4,並刷新預覽與字幕 |
video_show |
查看項目、分鏡、時間軸、字幕和產物路徑 |
video_list |
列出本機所有視頻項目 |
Web 端每次工具調用會渲染分鏡卡片,可查看每鏡標題、字數、圖片/配音就緒狀態與時長;離線預覽雙擊項目目錄下的 preview.html 即可播放。
兼容版本¶
| 插件版本 | DSH 版本 |
|---|---|
0.1.x |
dsh@0.2.2-alpha.2 |
DSH 仍處於預覽階段,升級 DSH 後應安裝對應版本的插件。
安裝與啓用¶
插件以當前 DSH 進程權限讀寫 $DSH_HOME/ai-video 等路徑,並可調用 ffmpeg、Chrome、外部 API。安裝前建議閱讀倉庫源碼與 MIT 許可證,再決定 profile 與密鑰配置方式。
安裝本地 .tgz(README 推薦寫法)¶
若已有打包好的 dsh-plugin-ai-video-0.1.0.tgz:
npx --yes @deepseek-ai/dsh@0.2.2-alpha.2 plugin \
--profile web \
add ./dsh-plugin-ai-video-0.1.0.tgz
確認安裝:
npx --yes @deepseek-ai/dsh@0.2.2-alpha.2 plugin --profile web list --depth 0
重啓 DSH Web(dsh web 或 pnpm dsh web)後,對話中應出現視頻相關工具卡片。
從 GitHub 安裝¶
dsh plugin --profile web add github:flynow-harness/dsh-plugin-ai-video
pnpm 11 默認可能因 ERR_PNPM_GIT_DEP_PREPARE_NOT_ALLOWED 失敗;僅在信任源碼時,可在 profile 的 pnpm-workspace.yaml 中放行:
allowBuilds:
dsh-plugin-ai-video: true
卸載¶
dsh plugin --profile web remove dsh-plugin-ai-video
配置要點¶
默認不配置也能跑(內置標題卡 + 系統語音)。密鑰建議用環境變量,結構化項寫在 $DSH_HOME/profiles/<name>/cordis.patch.yml,例如:
- id: ai-video
config:
imageBaseUrl: https://api.openai.com/v1
imageModel: gpt-image-1
imageSize: 1536x1024
ttsBaseUrl: https://api.openai.com/v1
ttsModel: gpt-4o-mini-tts
ttsVoice: alloy
常用環境變量包括 DSH_VIDEO_ROOT、DSH_VIDEO_IMAGE_BASE_URL / DSH_VIDEO_IMAGE_API_KEY、DSH_VIDEO_TTS_BASE_URL / DSH_VIDEO_TTS_API_KEY,以及可選的 DSH_VIDEO_FFMPEG、DSH_VIDEO_CHROME 等;完整鍵與默認值見倉庫 README「配置」一節。
典型用法¶
裝好插件後,用自然語言驅動 Agent 即可,README 示例包括:
幫我做一個 30 秒的「什麼是 RAG」講解視頻,科技博主風格,豎屏
把第 3 鏡改成數據可視化,不要人物
給第 2 鏡換一句更口語化的旁白,重新生成配音
把最後一鏡刪掉,再補一個總結鏡頭,然後導出 MP4
產物默認在 ~/.dsh/ai-video/<project-id>/:project.json、preview.html、assets/ 下的分鏡圖與旁白、out/ 下的 MP4 與字幕文件。
導出 MP4 需要本機 ffmpeg 與 ffprobe(Node.js 版本需與 DSH 一致:22.19+ 或 24+)。macOS 可按 README 使用 brew install ffmpeg 補齊。
適用場景與注意¶
適合:需要在 DSH Web 對話裏快速做講解短視頻原型、分鏡可迭代、希望「文件即項目」、可離線預覽再導出的開發者或內容實驗。
注意:
html模式導出 MP4 時每鏡取代表幀(約 1.5s),完整動畫保留在preview.html;逐幀動畫成片更宜用image模式。- Homebrew 官方
ffmpeg可能未內置 libass,燒錄字幕失敗時仍會有.srt/.vtt與預覽層字幕。 - 圖像網關需兼容 OpenAI
POST /images/generations及任務式輪詢;項目目錄默認不隨工作區移動。
結尾¶
dsh-plugin-ai-video 把 Agent 擅長的敘事與改稿,和插件擅長的落盤、配音、字幕、預覽、ffmpeg 合成綁在一起,在 DSH「一切皆插件」的生態裏提供一條可覈對、可 diff 的視頻工作流。目錄頁:https://www.skillhub.cn/plugins/flynow-harness/dsh-plugin-ai-video;源碼與完整配置:https://github.com/flynow-harness/dsh-plugin-ai-video。