视频转文字 Skill:把教程视频落成结构化 Markdown

前言

整理技术教程时最常遇到的卡点是:视频里的内容拿不出来。用通用 ASR 跑一遍,拿到的是逐字稿,语序碎、没有层次,代码块被拆成一句一句;换成通用摘要模型,又会把关键细节吞掉。这个 Skill 走的是第三条路:把视频拆成音频、画面、屏幕文字三条线分别处理,再合成一份精炼笔记风格的 Markdown,作者原始代码原样保留。

下面介绍这个 Skill。

这是什么

这是一个把视频转成文档的 Skill,由社区开发者 user_5ec78c84 发布,来源标注为 community,分类 knowledge-management,当前版本 1.1.0。

基本坐标信息如下:

Skill 名称:视频转文字/视频总结/转文字/视频蒸馏/AI总结
坐标:@user_5ec78c84/video-transcription
版本:1.1.0
来源:community
分类:knowledge-management
标签:requires_api_key=false
官方地址:https://api.skillhub.cn/user_5ec78c84/video-transcription

SkillHub 页面显示该 Skill 下载 3427 次。标签 requires_api_key=false 说明运行时不需要云端 API 密钥。

一句话定位:输入本地视频文件或在线视频链接,输出一份结构化、可读、可搜索的 Markdown 文档。

核心功能

先说明,以下能力全部来自官方简介,未逐项实测。

1、音频转录(ASR),得到完整音频文本。
2、屏幕文字提取(OCR),把画面里的字幕、演示文字单独提出来。
3、关键帧截图,嵌入 Markdown,便于对照查看。
4、语义分割,按内容把长视频切成若干章节。
5、增强代码块:作者原始代码完整保留、不做改写,优化建议以独立注释的形式附在旁边。
6、摘要,给整段内容一个概览。

正文风格是精炼笔记:先给章节概要,再按步骤给出简明叙述,而不是把 ASR 的逐字结果直接堆上去。这一点和大多数转录工具的差别最大——产出的是一份能直接读的文档,不是一份待清理的录音稿。

离线回退栈:imageio-ffmpeg + faster-whisper + rapidocr-onnxruntime。官方说明这条栈用于没有 ffmpeg、没有云端 ASR 密钥、也没有视觉模型的环境,也就是说整套流程可以在完全离线的条件下跑通。

安装与启用

需要如实说明:已抓取的资料里只有名称、版本、来源和标签,没有给出官方安装命令,也没有 Cursor、Codex CLI、Claude Code 各自的差异说明。因此这里不提供安装命令,避免编造。

这类 Skill 基于通用 SKILL.md 格式,安装入口以官方地址为准:

https://api.skillhub.cn/user_5ec78c84/video-transcription

启用方式是向 Agent 给出自然语言指令,Skill 会在触发条件匹配时接管,不需要手工写配置文件。由于标签为 requires_api_key=false,初始化阶段不需要填入云端模型密钥。

典型用法

以下是官方简介中列出的触发语,代表该 Skill 期望的调用方式:

转录视频
把这个视频转成文字
视频全文转录
提取视频中的文字和图片
把这节课做成文档

输入可以是两种:本地视频文件,或在线视频链接(官方明确提到 Bilibili、YouTube 等)。输出是结构化 Markdown,包含关键帧截图、完整音频转录、屏幕文字提取、语义分割结果、增强代码块和摘要。

举例来说,把一节课程视频交给它并说「把这节课做成文档」,得到的应当是按章节组织的笔记:每章有概要和步骤叙述,演示代码原样保留,优化建议写在注释里,关键帧截图插在对应位置。

适用场景与注意

适合的场景:教程、课程、讲座类视频,需要转成可读、可搜索、可归档的文档;希望保留原始代码的同时看到改进建议;需要在没有网络或没有云密钥的环境里处理视频。

不适合的场景,官方明确列出三项:

1、实时直播转录——它处理的是已存在的视频文件,不是推流。
2、字幕翻译——没有翻译能力。
3、视频生成——只做视频到文档的单向转换。

两点容易踩的坑:

一是不要把产出当成逐字稿。正文是提炼过的笔记,如果要逐字内容,需要另外的 ASR 输出。

二是离线栈依赖本地运行时。官方列出的三个包 imageio-ffmpeg、faster-whisper、rapidocr-onnxruntime 需要在目标环境里可用,否则回退方案不成立;有 ffmpeg 和视觉模型的环境则可以使用更常规的处理链路。

结尾

这个 Skill 的价值在于把视频到文档的链路收成一个动作:输入视频,输出带截图、带代码、带章节结构的 Markdown,同时给了离线方案保证在受限环境里也能跑。如果你的需求是整理课程或讲座视频,而不是实时转写或翻译字幕,可以从上面的官方地址看具体说明。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye