文字或語音生成視頻:在 Agent 裏用一句話走通即夢文生視頻

前言

做短視頻或演示素材時,常見路徑是:自己寫英文提示詞、登錄即夢或同類平臺、等任務跑完再拷鏈接。若你已經在 Cursor、Claude Code 或 OpenClaw 裏用 Agent 處理日常任務,更希望用中文描述畫面,由技能自動優化提示詞並調 API 生成視頻。

下面介紹 SkillHub 社區技能 @user_4a79ecd6/texttovideo(頁面名稱「文字或語音生成視頻」)。它把「提示詞優化 + 即夢文生視頻」收成一條可在對話裏觸發的流程;與單純在網頁裏手填提示詞相比,差異在於 Agent 側有固定觸發詞和 SKILL.md 約定,便於在飛書、微信等接入 OpenClaw 的場景裏直接說需求。

這是什麼

一句話定位:輸入中文畫面描述,先經大模型把提示詞整理成適合即夢 3.0 的英文分鏡式提示,再調用火山引擎視覺側文生視頻接口,異步輪詢後返回視頻 URL。

維護與來源:SkillHub 座標 @user_4a79ecd6/texttovideo,分類 design-media,來源 community,當前版本 1.0.1,發佈者 user_4a79ecd6(頁面展示作者爲「阿霄」)。商店標籤含 requires_api_key=true,使用前需自行配置雲側 API 密鑰。

名稱說明:商店標題含「語音」,當前 1.0.1 包內 SKILL.md 與 skill.json 均以「文字生成視頻 / text2video」爲主,實現文件爲 main.py 的文本入口 run(user_input),未包含獨立的語音轉寫或語音驅動視頻邏輯。若你需要語音輸入,需在 Agent 側先做 ASR,再把文本交給本技能,或關注後續版本是否補充語音能力。

核心功能

根據已發佈的技能包(SKILL.md、skill.json 與配套 Python 腳本),可覈實的能力如下。

  1. 提示詞優化:通過火山方舟 Chat Completions(代碼中模型爲 Doubao-2.0-Pro,端點 https://ark.cn-beijing.volces.com/api/v3/chat/completions),把口語化中文描述轉成即夢可用的英文提示詞,並約束畫質與運鏡相關關鍵詞。
  2. 文生視頻:調用火山引擎視覺 API(visual.cn-north-1.volcengineapi.com,動作 SubmitVideoGenerationTask / GetVideoGenerationTask),支持配置時長(默認 5 秒,代碼註釋支持 5/10 秒)、畫幅比例(默認 16:9,註釋支持 9:16、1:1)。
  3. 對話觸發:skill.json 聲明觸發短語包括「生成視頻」「幫我生成視頻」「製作視頻」「做一個視頻」;在 OpenClaw 生態中可在飛書 / 微信裏用自然語言附帶畫面描述發起任務。
  4. 返回結果:成功時返回 video_url、優化後的 optimized_prompt 與原始 user_input;失敗時區分超時與其它異常(main.py 中約 1~2 分鐘爲預期等待,輪詢最長約 200 秒)。

SKILL.md 寫明輸出爲高清視頻鏈接;實現裏默認 Resolution 爲 720p(註釋寫明正式可改爲 1080p),以實際代碼與即夢賬號權限爲準。

安裝與啓用

安裝 SkillHub CLI(未安裝時)

按 SkillHub 安裝說明 檢查 CLI:

command -v skillhub && skillhub --version

未安裝時可執行完整安裝(含默認 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安裝本技能

安裝時必須用 --dir 指向當前 Agent 的 skills 目錄,否則默認落在 ./skills/ 可能不會被客戶端加載。

skillhub install texttovideo --namespace user_4a79ecd6 --dir <你的 skills 目錄>

也可讓 Agent 按官方提示安裝:

請根據 https://skillhub.cn/install/skillhub.md,安裝 `@user_4a79ecd6/texttovideo`。

常見 skills 目錄(摘自 SkillHub 安裝文檔):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或項目下 .agents/skills/

安裝後按各客戶端要求重啓或刷新技能列表。

依賴與環境變量

Python 依賴見包內 requirements.txt:

requests>=2.28.0

skill.json 聲明需要:

  • DEEPSEEK_API_KEY
  • JIMENG_API_KEY

當前 1.0.1 源碼實際讀取的環境變量爲:

  • VOLC_ARK_API_KEY(提示詞優化)
  • VOLC_ACCESS_KEY_ID、VOLC_SECRET_ACCESS_KEY(即夢 / 火山視覺 API 簽名)

部署前請對照 prompt_optimizer.py 與 video_generator.py 配置密鑰,並確認 skill.json 與實現一致,避免只填聲明變量導致運行失敗。

典型用法

在 OpenClaw 對話中(官方示例)

SKILL.md 給出的說法示例:

幫我生成視頻:一隻貓在海邊散步,夕陽西下,慵懶溫暖的氛圍
生成視頻:夜晚城市街道,霓虹燈閃爍,人羣湧動,賽博朋克風格

Agent 應路由到技能入口 main.py 的 run(user_input),user_input 爲冒號後的畫面描述(或你給出的整句描述,以 Agent 解析爲準)。

技能參數(skill.json)

參數 類型 必填 說明
user_input string 是 視頻內容描述,例如「一隻貓在海邊散步,夕陽西下」

適用場景與注意

適合誰

  • 已在 Agent / OpenClaw 工作流裏做內容生產,希望用中文描述 + 自動英文提示詞生成短片素材的開發者或運營。
  • 已有火山方舟與火山引擎視覺(即夢)API 權限、能接受異步等待(約 1~2 分鐘,最長輪詢約 200 秒)的團隊。

限制與注意

  • API Key 與費用:標籤 requires_api_key=true;調用方舟與視覺 API 會產生雲側用量,需自行開通與計費。
  • 名稱與實現:商店名含「語音」,當前包以文生視頻爲主;不要假設內置語音輸入。
  • 元數據與代碼:Hub 版本 1.0.1,skill.json 內版本號爲 1.0.0;環境變量聲明與 Python 實現不一致時以代碼爲準並自行對齊。
  • 商店數據(SkillHub 頁面,截至抓取):評分 100000,下載 1189,安裝 6;數據會隨時間變化,以頁面爲準。

結尾

@user_4a79ecd6/texttovideo 把「中文意圖 → 即夢提示詞 → 文生視頻 URL」封裝成 Agent Skill,適合在已接入 SkillHub 的客戶端裏用固定觸發詞快速出片。官方入口:

  • 技能頁:https://www.skillhub.cn/skills/user_4a79ecd6/texttovideo
  • API 元數據:https://api.skillhub.cn/user_4a79ecd6/texttovideo
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜