視頻轉錄(video-to-transcript):在 Agent 對話裏把視頻轉成文字

前言

做內容創作或素材整理的人經常遇到一個需求:手頭有一條抖音、B 站或 YouTube 視頻,想把裏面的語音變成可檢索、可編輯的文字。手動做法通常是下載視頻,再開一個轉寫工具,把文本另存,鏈路長、步驟碎。更麻煩的是,視頻裏除了人聲還有字幕、背景音樂,直接 ASR 出來的文本常有同音錯字。

如果這條鏈路能被 Agent 一句話觸發,輸入鏈接就出文本,價值就明顯了。下面介紹的 video-to-transcript 就是做這件事的 Skill:在 Agent 對話中接收視頻鏈接,轉寫成文字,並輸出校對版純文本和時間戳文本。

這是什麼

video-to-transcript 是 SkillHub 社區(community)上的 Skill,座標 @user_ea76c6e6/video-to-transcript,發佈者 user_ea76c6e6,當前版本 1.3.2,分類 content-creation。它解決的問題是:用戶在對話裏說”轉錄這個視頻”之類的話時,Agent 自動完成鏈接拉取、語音轉寫、(可選)同音字校對,返回可用文本。

按 SkillHub 頁面數據,該 Skill 評分 100000,下載 2005。頁面標籤爲 requires_api_key=false,即不配置 API key 也能運行。

核心功能

已從官方簡介覈對到的能力:

  1. 鏈接轉寫:輸入視頻鏈接即可,官方簡介列出抖音/B站/YouTube。
  2. 轉錄引擎:使用 faster-whisper 轉錄。
  3. LLM 同音字校對(可選):配了 API key 時啓用,未配置時輸出 ASR 原文。
  4. 兩種輸出:校對版純文本、時間戳文本。
  5. 本地運行:除 LLM 校對外,轉錄在本地完成,官方強調隱私安全。

觸發詞:Skill 描述裏給出的觸發場景包括”轉錄這個視頻”“視頻轉文字”“抖音轉錄”“提取視頻文字”“字幕生成”“把視頻變成文字”。這段描述與頁面上已抓取的簡介不完全一致(頁面簡介被截斷),接入前建議在官方頁面再覈對一次。

同一句 Skill 描述還提到支持小紅書、TikTok 以及本地視頻和音頻文件,並稱轉錄與 OCR 硬字幕提取並行。這幾條在已抓取的頁面簡介裏未出現,屬於待覈實項,下面適用場景裏會再提。

安裝與啓用

該 Skill 爲 SkillHub 社區 Skill,安裝入口以官方頁面爲準:

https://www.skillhub.cn/skills/user_ea76c6e6/video-to-transcript

座標與分類(用於檢索或集成):

@user_ea76c6e6/video-to-transcript
content-creation
requires_api_key=false

說明:已抓取資料未提供具體的 CLI 安裝命令和目錄路徑,這裏不編造。啓用後,Agent 對話中出現上述觸發詞即會調用該 Skill。

典型用法

在 Agent 對話中直接表達需求,例如:

轉錄這個視頻:https://www.bilibili.com/video/BVxxxxxx

Agent 收到觸發詞後調用該 Skill,輸出校對版純文本;需要時間軸時可要求時間戳文本。LLM 校對屬於可選步驟:未配置 API key 時,輸出的是 faster-whisper 的 ASR 原文。

適用場景與注意

適合:內容創作者整理短視頻素材、把視頻轉爲可檢索文本、爲後續摘要或二創準備底稿;以及想在 Agent 工作流里加一條”視頻進、文字出”前置步驟的人。

注意:

  1. 識別質量取決於音頻本身。人聲重疊、背景音樂強、口音重的場景,ASR 錯字會更多;這正是 LLM 同音字校對要解決的問題,但它是可選能力。
  2. 校對依賴 LLM API key,不配置則只有 ASR 原文。
  3. 轉錄在本地完成,適合對隱私敏感的場景,但本地環境需要能跑 faster-whisper 及其運行依賴。
  4. 小紅書、TikTok、本地文件支持,以及 OCR 硬字幕並行這幾條來自 Skill 描述而非已抓取的頁面簡介,接入前建議在官方頁面確認。

小結

video-to-transcript 把”給鏈接、出文字”做成 Agent 內的一步:faster-whisper 本地轉錄,可選 LLM 校對,輸出純文本和時間戳文本,本地運行。需要自己搭建轉寫流程的開發者,可以拿它當起點。

官方地址:

https://api.skillhub.cn/user_ea76c6e6/video-to-transcript

SkillHub 頁面:

https://www.skillhub.cn/skills/user_ea76c6e6/video-to-transcript
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜