dsh-bili-video-summary:B 站视频本地转写与一图读懂

前言

DeepSeek Harness(DSH)支持通过插件扩展能力。在会话里丢一个 B 站视频链接,想快速了解内容,传统方式是先看简介再手动翻评论,或依赖可能需要登录的官方字幕接口。这个插件用 DSH 的工具机制,把视频解析流程下沉到本地:先取元数据、下音轨、本地转写,再把结果交给模型写解析、渲染一图读懂 PNG。

它是什么

一个跑在 DSH 里的插件,核心是两个工具:bili_video_transcribe 和 bili_video_render。

  • bili_video_transcribe:下载音轨 + 本地转写,返回元数据、全文和 txt/srt/tsv 路径。
  • bili_video_render:根据解析结果渲染一图读懂 PNG,并把 md 写进输出目录。

插件依赖 faster-whisper,在本地完成 ASR 和绘图,不依赖 B 站的登录态或官方字幕接口。

核心功能

  • 取元数据:解析 BV 号,调用 B 站公开 JSON 接口(view / playurl)获取标题、UP 主、时长、播放数、点赞数、标签等,数字全部从接口取值。
  • 下音轨:调用 /x/player/playurl?fnval=16 取 DASH 音轨(m4a),优先码率最高一路,失败时换 backupUrl。不安装 yt-dlp,不依赖 ffmpeg。
  • 本地转写:用 PyAV 把音轨解成 16kHz 单声道 float32,喂 faster-whisper-small(int8,CPU)。输出 txt / srt / tsv,进度写 stderr,结果用一行 RESULT_JSON: 回传给 DSH。
  • 写解析:解析由模型在会话中完成,模型读完整转录,按「信息 / 灯塔 / 建议 / 评估」组织成 md,引用到的数字回接口核对,ASR 专名存疑时标注。
  • 渲染出图:把结构化内容交给 Pillow 画成 1920×1320 的「一图读懂」,同时把 md 和转录文件写入输出目录。

一次调用产出:

  • 解析-视频标题.md:解析文档,含框架、原话和评估。
  • 视频总结一图读懂.png:1920×1320,一页看完。
  • transcript.txt / .srt / .tsv:逐句转录,方便回查原话。

安装与启用

前置条件:

  • DSH 桌面版,实测版本 0.2.1-rc.2。
  • Windows 10 / 11,约 725MB 磁盘空间(模型 462MB + Python 依赖约 260MB)。
  • 首次使用需要联网下载依赖和模型。
  • 不需要 B 站账号,不需要 ffmpeg,不需要 yt-dlp。

安装命令(桌面版):

dsh plugin --profile desktop add github:zz12hui/dsh-bili-video-summary

DSH 桌面版运行时命令行不会修改应用的 profile:先退出桌面版再执行,或在市场里一键安装。

装完后重启 DSH(关闭窗口含托盘退出 → 重开 → 恢复会话)。首次使用会自动安装运行环境(模型 + Python 依赖),脚本位置见 README 中的手动安装部分。

典型用法

在 DSH 会话中发送 B 站视频链接,助手会依次调用两个工具:

  1. bili_video_transcribe:下载音轨 + 本地转写,返回元数据、全文和转录文件路径。
  2. 模型根据转录内容写解析(md)。
  3. bili_video_render:接收解析结果,渲染一图读懂 PNG 并写入输出目录。

工具调用顺序固定为 transcribe → 模型解析 → render。

配置与目录

可选环境变量:

变量 默认值 作用
BILI_SUMMARY_HOME ~/.dsh/bili-video-summary 数据根目录
BILI_SUMMARY_PYLIBS $BILI_SUMMARY_HOME/pylibs Python 依赖目录
BILI_SUMMARY_MODEL $BILI_SUMMARY_HOME/model/faster-whisper-small 模型目录
BILI_SUMMARY_PYTHON DSH 自带 Python 运行时 Python 解释器

安装位置:

内容 路径
插件本体 %USERPROFILE%\.dsh\profiles\desktop\node_modules\dsh-local-bili-summary\
profile 补丁行 %USERPROFILE%\.dsh\profiles\desktop\cordis.patch.yml 末尾 bili-summary-panel
数据根目录 %USERPROFILE%\.dsh\bili-video-summary\
缓存 …\cache\<BV号>\(audio.m4a / transcript.* / result.json)

适用场景与注意

  • 适合需要快速浏览 B 站视频内容,尤其是长视频(如 30 分钟以上)。
  • 需要本地处理,不希望依赖 B 站登录态或官方字幕接口。
  • CPU 推理,速度约视频时长的 0.4 倍;30 分钟视频约 12 分钟。
  • 不适用于纯音乐视频,因为没有识别到语音内容时会报错。
  • 插件逻辑和 Python 脚本是跨平台的,但一键装环境脚本目前只支持 Windows。

使用前建议检查源码与许可证。

短结尾

这个插件把 B 站视频解析流程固化为本地工具链:取元数据、下音轨、ASR 转写、模型解析、一图读懂。适合需要快速理解视频内容、避免依赖登录态或官方字幕的开发者。

  • 目录页:https://www.skillhub.cn/plugins/zz12hui/dsh-bili-video-summary
  • GitHub:https://github.com/zz12hui/dsh-bili-video-summary
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye