文字或语音生成视频:在 Agent 里用一句话走通即梦文生视频

前言

做短视频或演示素材时,常见路径是:自己写英文提示词、登录即梦或同类平台、等任务跑完再拷链接。若你已经在 Cursor、Claude Code 或 OpenClaw 里用 Agent 处理日常任务,更希望用中文描述画面,由技能自动优化提示词并调 API 生成视频。

下面介绍 SkillHub 社区技能 @user_4a79ecd6/texttovideo(页面名称「文字或语音生成视频」)。它把「提示词优化 + 即梦文生视频」收成一条可在对话里触发的流程;与单纯在网页里手填提示词相比,差异在于 Agent 侧有固定触发词和 SKILL.md 约定,便于在飞书、微信等接入 OpenClaw 的场景里直接说需求。

这是什么

一句话定位:输入中文画面描述,先经大模型把提示词整理成适合即梦 3.0 的英文分镜式提示,再调用火山引擎视觉侧文生视频接口,异步轮询后返回视频 URL。

维护与来源:SkillHub 坐标 @user_4a79ecd6/texttovideo,分类 design-media,来源 community,当前版本 1.0.1,发布者 user_4a79ecd6(页面展示作者为「阿霄」)。商店标签含 requires_api_key=true,使用前需自行配置云侧 API 密钥。

名称说明:商店标题含「语音」,当前 1.0.1 包内 SKILL.md 与 skill.json 均以「文字生成视频 / text2video」为主,实现文件为 main.py 的文本入口 run(user_input),未包含独立的语音转写或语音驱动视频逻辑。若你需要语音输入,需在 Agent 侧先做 ASR,再把文本交给本技能,或关注后续版本是否补充语音能力。

核心功能

根据已发布的技能包(SKILL.md、skill.json 与配套 Python 脚本),可核实的能力如下。

  1. 提示词优化:通过火山方舟 Chat Completions(代码中模型为 Doubao-2.0-Pro,端点 https://ark.cn-beijing.volces.com/api/v3/chat/completions),把口语化中文描述转成即梦可用的英文提示词,并约束画质与运镜相关关键词。
  2. 文生视频:调用火山引擎视觉 API(visual.cn-north-1.volcengineapi.com,动作 SubmitVideoGenerationTask / GetVideoGenerationTask),支持配置时长(默认 5 秒,代码注释支持 5/10 秒)、画幅比例(默认 16:9,注释支持 9:16、1:1)。
  3. 对话触发:skill.json 声明触发短语包括「生成视频」「帮我生成视频」「制作视频」「做一个视频」;在 OpenClaw 生态中可在飞书 / 微信里用自然语言附带画面描述发起任务。
  4. 返回结果:成功时返回 video_url、优化后的 optimized_prompt 与原始 user_input;失败时区分超时与其它异常(main.py 中约 1~2 分钟为预期等待,轮询最长约 200 秒)。

SKILL.md 写明输出为高清视频链接;实现里默认 Resolution 为 720p(注释写明正式可改为 1080p),以实际代码与即梦账号权限为准。

安装与启用

安装 SkillHub CLI(未安装时)

按 SkillHub 安装说明 检查 CLI:

command -v skillhub && skillhub --version

未安装时可执行完整安装(含默认 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

安装本技能

安装时必须用 --dir 指向当前 Agent 的 skills 目录,否则默认落在 ./skills/ 可能不会被客户端加载。

skillhub install texttovideo --namespace user_4a79ecd6 --dir <你的 skills 目录>

也可让 Agent 按官方提示安装:

请根据 https://skillhub.cn/install/skillhub.md,安装 `@user_4a79ecd6/texttovideo`。

常见 skills 目录(摘自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下 .agents/skills/

安装后按各客户端要求重启或刷新技能列表。

依赖与环境变量

Python 依赖见包内 requirements.txt:

requests>=2.28.0

skill.json 声明需要:

  • DEEPSEEK_API_KEY
  • JIMENG_API_KEY

当前 1.0.1 源码实际读取的环境变量为:

  • VOLC_ARK_API_KEY(提示词优化)
  • VOLC_ACCESS_KEY_ID、VOLC_SECRET_ACCESS_KEY(即梦 / 火山视觉 API 签名)

部署前请对照 prompt_optimizer.py 与 video_generator.py 配置密钥,并确认 skill.json 与实现一致,避免只填声明变量导致运行失败。

典型用法

在 OpenClaw 对话中(官方示例)

SKILL.md 给出的说法示例:

帮我生成视频:一只猫在海边散步,夕阳西下,慵懒温暖的氛围
生成视频:夜晚城市街道,霓虹灯闪烁,人群涌动,赛博朋克风格

Agent 应路由到技能入口 main.py 的 run(user_input),user_input 为冒号后的画面描述(或你给出的整句描述,以 Agent 解析为准)。

技能参数(skill.json)

参数 类型 必填 说明
user_input string 是 视频内容描述,例如「一只猫在海边散步,夕阳西下」

适用场景与注意

适合谁

  • 已在 Agent / OpenClaw 工作流里做内容生产,希望用中文描述 + 自动英文提示词生成短片素材的开发者或运营。
  • 已有火山方舟与火山引擎视觉(即梦)API 权限、能接受异步等待(约 1~2 分钟,最长轮询约 200 秒)的团队。

限制与注意

  • API Key 与费用:标签 requires_api_key=true;调用方舟与视觉 API 会产生云侧用量,需自行开通与计费。
  • 名称与实现:商店名含「语音」,当前包以文生视频为主;不要假设内置语音输入。
  • 元数据与代码:Hub 版本 1.0.1,skill.json 内版本号为 1.0.0;环境变量声明与 Python 实现不一致时以代码为准并自行对齐。
  • 商店数据(SkillHub 页面,截至抓取):评分 100000,下载 1189,安装 6;数据会随时间变化,以页面为准。

结尾

@user_4a79ecd6/texttovideo 把「中文意图 → 即梦提示词 → 文生视频 URL」封装成 Agent Skill,适合在已接入 SkillHub 的客户端里用固定触发词快速出片。官方入口:

  • 技能页:https://www.skillhub.cn/skills/user_4a79ecd6/texttovideo
  • API 元数据:https://api.skillhub.cn/user_4a79ecd6/texttovideo
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜