靈聲工坊視頻配音:用 Agent 跑通 TTS 配音與字幕合成流水線

前言

教學視頻、操作演示類成片,常見痛點是:旁白要按畫面切段、語速要和鏡頭對齊、字幕不能一整屏堆滿字,還要在「AI 配音」和「保留原聲演示」之間切換。單靠剪輯軟件手工對軌,步驟多、返工也多。

下面介紹 SkillHub 上的 靈聲工坊視頻配音(smart-dubbing-studio)。它以通用 SKILL.md 約定工作流:由 Agent 對話收集素材路徑、檢測本機環境、選擇 TTS 引擎,再一鍵執行 pipeline.py 輸出帶字幕的成品視頻。SkillHub 分類爲 design-media;社區側可見評分約 98768、下載約 782 次(以 SkillHub 展示爲準)。Skill 包版本爲 1.0.7,Skill 頁作者標註爲 盛通教育-張維。

這是什麼

靈聲工坊視頻配音是面向「源視頻 + 時間軸配音模板」的智能配音與字幕同步 Skill。官方簡介概括爲:支持 TTS 語音生成、語速自適應加速、自動識別並填充靜音段、逐句精校字幕,一鍵輸出成品視頻。

維護與分發在 SkillHub;技能標識在商店檢索中爲 @indiv-zhangwei/smart-dubbing-studio(部分頁面鏈接仍使用 user_a5827f21 路徑)。說明文檔內流水線自稱爲視頻字幕合成 V3.7.x,與 SkillHub 包版本號 1.0.7 並存,以各自字段爲準即可。

核心功能

以下能力均來自技能包內 SKILL.md 與 scripts/ 流水線,可按步驟復現。

固定程序 + 對話引導

加載技能後,Agent 按文檔要求向用戶確認 源視頻路徑 與 字幕/配音模板路徑(.md)。無模板時可複製內置模板:

python <本技能目錄>/scripts/copy_template.py --to-dir <用戶項目目錄>

六步流水線

Agent 將 scripts/ 複製到用戶項目的 _scripts/,生成 job.yaml 後執行:

python _scripts/pipeline.py --job job.yaml

順序爲:01_check 解析模板 → 02_cut 切分視頻 → 03_tts 配音 → 04_align 對齊(含填充靜音、必要時視頻加速)→ 05_merge 聲畫合成 → 06_finalize 注入字幕。失敗時可:

python _scripts/pipeline.py --job job.yaml --resume-from <步驟名>

僅重做字幕時:

python _scripts/pipeline.py --job job.yaml --resume-from 06_finalize

TTS 引擎

  • 訊飛超擬人(spark):需 APPID、APIKey、APISecret、超擬人 WS URL,寫入本地 tts_config.json(文檔建議加入 .gitignore)。
  • edge-tts:免費備用,pip install edge-tts==7.2.8;可選音色如 zh-CN-XiaoxiaoNeural 等。

模板與段類型

模板爲 Markdown 表格:| 開始時間 | 結束時間 | 文案內容 |,時間支持 MM:SS、MM:SS,FF(SMPTE 幀)、MM:SS.mmm。

  • 正常文案:AI TTS 配音。
  • 空白行:filler,保留原視頻音頻。
  • (靜音) / [靜音] / (靜音):filler_silent,生成靜音。

支持反引號 ` 控制 TTS 斷句、{tts:...} 覆蓋朗讀文本而不改字幕顯示;訊飛路徑下可配合逐短句 SRT(依賴詞級時間戳)。

字幕模板編輯器

技能自帶 tools/subtitle-editor.html:瀏覽器中拖入視頻、粘貼編號文案,用 F 鍵拍板時間軸,一鍵導出 .md 模板,適合不想手寫時間碼的場景。

環境依賴

env_check.py 會檢查 ffmpeg、Python 3.7+ 等;選訊飛時需 websocket-client==1.8.0。缺失項的處理方式見 SKILL.md 中的對照表。

安裝與啓用

安裝前請閱讀 SkillHub 官方說明:skillhub.cn/install/skillhub.md。

1、安裝 SkillHub CLI(若尚未安裝)

command -v skillhub && skillhub --version

未安裝時可執行完整安裝腳本(文檔推薦):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

2、安裝本 Skill

必須使用 --dir 指向當前 Agent 的 skills 目錄,否則默認落在 ./skills/ 可能無法被識別。

skillhub search smart-dubbing
skillhub install smart-dubbing-studio --namespace indiv-zhangwei --dir <skills 目錄>

常見路徑示例(以你實際使用的客戶端爲準):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下 .agents/skills/

SkillHub 頁面亦提供「發給 AI 的安裝提示」:按 skillhub.cn/install/skillhub.md 安裝 @user_a5827f21/smart-dubbing-studio。若網頁顯示 Skill 已下線,可仍以 CLI 搜索到的 @indiv-zhangwei/smart-dubbing-studio 爲準安裝(2026-10-21 經 skillhub install 可正常拉取)。

安裝完成後重啓或重新加載 Agent,使 SKILL.md 生效。

典型用法

經過上面的安裝,在對話中可直接按技能文檔操作。下面是一條可復現的主路徑(由 Agent 執行命令,用戶主要提供路徑與 TTS 選擇)。

  1. 用戶提供源視頻與模板,例如 demo.mp4 與 script.md。
  2. Agent 運行環境檢測:
python _scripts/env_check.py --output env.json
  1. 用戶選擇引擎與音色後,Agent 生成 job.yaml(示例結構):
video: "/path/to/demo.mp4"
template: "/path/to/script.md"
voice: "x5_lingxiaotang_flow"
engine: "spark"
output_root: "output"
env_file: "env.json"
tts_config: "tts_config.json"

若使用 edge-tts,將 engine 設爲 edge,並省略或清空 tts_config。

  1. Agent 執行流水線並彙報進度;成品路徑形如:
output/{task_id}/06_final/final_with_subs_xxx.mp4

模板表格示例(摘自技能文檔):

| 開始時間 | 結束時間 | 文案內容 |
|----------|----------|----------|
| 00:00 | 00:02 | 本視頻將講解如何製作進階筆筒。 |
| 00:02 | 00:03,17 | 首先製作底座,選取圓柱體。 |

適用場景與注意

適合誰:需要批量做中文講解視頻、微課、操作演示配音的團隊或個人;希望由 Agent 代跑 ffmpeg + TTS 腳本、減少手工對軌的人。

限制與注意:

  • 依賴本機 ffmpeg 與 Python 環境;訊飛方案需自行在 console.xfyun.cn 開通並保管憑證。
  • tts_config.json 含密鑰,勿提交到公開倉庫。
  • edge-tts 下「逐短句 SRT」可能回退爲整段字幕(文檔說明詞級時間戳主要來自訊飛)。
  • 官方 API 頁 https://api.skillhub.cn/user_a5827f21/smart-dubbing-studio 對 GET 返回 405;SkillHub 部分 Web 詳情頁可能顯示「已下線」,安裝與文檔以 CLI 拉取的包內 SKILL.md 爲準。

結尾

靈聲工坊視頻配音把「切分、TTS、對齊、合成、字幕」收成一條 Agent 可執行的流水線,並附帶拍板式模板編輯器,適合把重複勞動交給對話式自動化。需要查看商店條目或安裝指引時,可訪問 SkillHub 官方地址:https://api.skillhub.cn/user_a5827f21/smart-dubbing-studio,並配合 https://skillhub.cn/install/skillhub.md 完成安裝。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜