前言¶
在 DeepSeek Harness 裏讓模型「看視頻」,常見做法是抽幾幀或依賴雲端摘要,容易漏細節,也難以覈對講解與畫面是否一致。若需要本地處理公網 B 站分 P 或 YouTube 單視頻、按時間分段看圖與字幕,並把分析結果排成 16:9 研究型幻燈片,單靠通用聊天能力往往不夠。下面介紹社區插件 視頻精讀(npm 包名 dsh-video-learning,倉庫 SZUold8/dsh-video-learning),維護者爲 SZUold8,在 SkillHub 目錄中歸類爲 聯網工具。
這是什麼¶
視頻精讀 是 DSH 的視頻內容研讀插件,當前 Windows 分發版 v0.3.5。它接受合法取得的本地視頻,或 B 站標準鏈接/BV、YouTube 單視頻鏈接;插件側提供帶時間索引的畫面與講解證據(抽幀、拼圖、可選離線轉寫與字幕導入),再由當前聊天模型逐段分析。設計重點是內容保留、細節覈對和誠實列出遺漏,而不是用少量代表幀生成快摘要。
README 明確說明:這不是視頻播放器,也不是保證「100% 看懂視頻」的模型;抽幀完成不等於 AI 已讀完,語音識別、變化檢測和模型分析都可能漏錯。
核心功能¶
抽幀與分段¶
- 默認每 3 秒 基礎採樣,按 5 分鐘 分段。
- 全片逐源幀做 640 寬灰度局部變化檢查,補首末幀和變化前後精確 PTS 幀;補幀預算按 5 分鐘時間段分配。超預算會標記 partial 並記錄每段省略數量。
語音與字幕¶
- 可選本地 faster-whisper 轉寫(Windows CPU 兼容依賴鎖定 faster-whisper 1.2.1、CTranslate2 4.4.0 等;模型文件由用戶單獨配置)。
- 可導入完整 SRT/VTT;可用已有本地模型轉寫完整音軌並保留逐詞時間,運行時不下載模型。
- 無字幕且無本地 ASR 時,只能分析畫面,不能聲稱聽過完整講解。
圖版與補看¶
- 3×3 帶時間拼圖用於總覽,另存 原分辨率 PNG,便於尺寸與小字覈對。
- 可按時間點或短時間窗補幀(默認 0.5 秒),可裁切原圖區域。
聯網獲取¶
- 獲取 B 站標準鏈接/BV 的 單個分 P、YouTube 單視頻,儘量保留策略內可訪問高清影音,不強制 360P,不重編碼。
- 政策上不支持直播、付費節目、交互分支等;不讀瀏覽器 cookie、不嘗試登錄或 DRM 繞過(詳見倉庫 README「獲取政策與隱私」)。
分頁與 PPT¶
- 分段讀取圖版分頁默認 4 張,返回下一頁偏移,避免千幀數據超出聊天工具輸出限制。
- 模型分析完成後,可通過
video_learning_pptx把結果排版成 16:9 研究型 PPT(封面、段落總結、分節圖版+要點、收尾);文字由模型撰寫,插件負責版式與按時間取圖。
暴露的工具¶
共七個工具:video_learning_doctor、video_learning_fetch、video_learning_prepare、video_learning_segment、video_learning_detail、video_learning_transcribe、video_learning_pptx。長任務返回 job_id,用 job_output 收集、job_kill 取消,不重複啓動。
系統與依賴¶
當前只支持 Windows。 需要 DSH 中現有的 pwsh、tools、skills 和 jobs(長任務)服務;基於 DSH Desktop 0.2.1-rc.3 驗證,package.json 聲明 dsh 引擎 >=0.2.0-rc.1。
| 項目 | 要求 |
|---|---|
| Node | 22 或以上 |
| Python | 推薦 3.12 x64;當前驗證 3.12.14 |
| 視頻工具 | ffmpeg 與 ffprobe 完整構建,當前驗證 9.0.1 |
| 網頁獲取(可選) | yt-dlp 2026.10.26(requirements-fetch.txt) |
| 離線轉寫(可選) | faster-whisper 與模型(requirements-asr.txt) |
| PPT 輸出(可選) | python-pptx(requirements-pptx.txt) |
| 輸出目錄 | 本地 NTFS,支持硬鏈接 |
插件以當前 DSH 進程權限運行;安裝前應自行查看倉庫源碼與 MIT 許可證。插件不調用雲端 LLM、不上傳用戶視頻,但 AI 隨後通過當前模型或 ModLens 看圖時,圖像可能送到所選服務。
安裝與啓用¶
發給他人安裝時使用 dsh-video-learning-0.3.5.tgz;ZIP 爲源碼包,不是直接安裝包。SkillHub 目錄頁:https://www.skillhub.cn/plugins/SZUold8/dsh-video-learning。
- 先打開一次 DSH Desktop 完成初始化,然後 完整退出 DSH。
- 使用該 Desktop 自帶 CLI(不是通用 npm 安裝的 DSH CLI):
& '<DSH安裝目錄>\resources\runtime\cli\bin\dsh.cmd' plugin --profile desktop add '<安裝包完整路徑>\dsh-video-learning-0.3.5.tgz'
若 Desktop 自帶 dsh 已在 PATH,可縮寫爲:
dsh plugin --profile desktop add '<安裝包完整路徑>\dsh-video-learning-0.3.5.tgz'
- 在安裝後的包目錄(通常爲
%USERPROFILE%\.dsh\profiles\desktop\node_modules\dsh-video-learning)配置依賴。先只檢查:
.\scripts\setup.ps1
顯式安裝核心與下載依賴:
.\scripts\setup.ps1 -Install -WithFetch -Python '<Python完整路徑>'
需要語音識別時另加 -WithAsr;需要 PPT 時用 setup.ps1 -WithPptx 或手動安裝 requirements-pptx.txt。腳本不會下載模型或 FFmpeg。
- 重新打開 DSH,在聊天中讓 AI「檢查視頻精讀依賴」,或在包目錄執行:
node scripts/doctor.mjs
典型用法¶
在 DSH 聊天中可直接用自然語言驅動,README 示例包括:
- 「用視頻精讀分析這個本地視頻,先處理前 5 分鐘。」
- 「獲取這個 B 站鏈接的第 2P,按內容還原標準逐段分析。」
- 「對 125~130 秒每 0.5 秒補幀,放大尺寸標註。」
流程上:聯網獲取後根據真實 media_path 調用 prepare;存在 subtitle_path 才傳入。輸出 PPT 時,先讓模型讀完分節內容,再寫 brief JSON(含 title、theme、summary、sections、closing),然後調用 video_learning_pptx(brief 必填,out 爲新目錄,manifest 可選)。輸出 deck.pptx 與 deck-manifest.json。
適用場景與注意¶
適合需要在 Windows 上、在 DSH 對話裏 系統性精讀 教程或講座視頻的智能體開發者:要時間軸證據、要分段翻頁、可選本地 ASR 與 16:9 彙報稿,且能接受「還原優先、明確標註遺漏與 partial」而非一鍵摘要。
務必注意:灰度變化檢測可能漏掉細小或低對比變化;ASR 與字幕可能錯認術語;默認安全限額爲 2GiB/2 小時,可顯式提高。證據限制與 HTTP 獲取邊界見倉庫 README。
DeepSeek Harness 生態理念是「一切皆插件」;SkillHub 爲社區目錄,與 DeepSeek / 幻方無官方從屬關係,本文不將其描述爲官方應用商店。
結尾¶
視頻精讀 把公網或本地視頻變成帶時間索引的 PNG、拼圖、字幕/轉寫證據,並配合七個工具與可選 PPT 輸出,方便在 DSH 裏做逐段、可覈對的研讀。詳情與更新以 GitHub 爲準: