文生视频与图生视频生成:把提示词变成成片的工作流

前言

调视频生成 API 的常见失败不是模型不够好,而是三件事没做对:模型别名对不上真实 ID、把 8—10 秒的成片直接渲染导致额度浪费、把异步任务当同步任务处理导致超时。这个 Skill 把这三件事整理成一张路由表、一套提示词写法和一条兜底链,让智能体在拿到提示词或图片后自己选模型、写镜头指令、跑任务、收结果。

下面介绍 video-generation 这个 Skill。

这是什么

video-generation 是面向智能体的通用 SKILL.md 格式 Skill,作用是创建 AI 视频:选择当前可用的模型栈、写更强的运动提示词、跑可靠的异步渲染流水线。

出品与维护信息如下。

  • 发布者:ivangdavila
  • 坐标:@clawhub_ivangdavila/video-generation
  • 上游仓库:https://clawhub.ai/ivangdavila/video-generation
  • SkillHub 列表页:https://www.skillhub.cn/skills/clawhub_ivangdavila/video-generation
  • 版本:1.0.1
  • 许可:MIT-0
  • 标签:requires_api_key=true,即调用前需要准备好各家模型的 API Key

它解决的问题是:多供应商视频 API 的模型命名混乱、任务排队机制各不相同、提示词缺少镜头语言结构,导致智能体生成的素材不可用或直接失败。

核心功能

覆盖的模型与 API 分九类,Quick Reference 里的文件一一对应。

  1. OpenAI Sora 2,见 openai-sora.md
  2. Google Veo 3.x,见 google-veo.md
  3. Runway Gen-4,见 runway.md
  4. Luma Ray,见 luma.md
  5. ByteDance Seedance,见 seedance.md
  6. Kling,见 kling.md
  7. Vidu,见 vidu.md
  8. Pika(经 Fal),见 pika.md
  9. MiniMax Hailuo,见 minimax-hailuo.md

其余文件是工作流层的:setup.md 是首次配置,memory-template.md 是偏好模板,migration.md 是迁移指南,benchmarks.md 是模型快照,api-patterns.md 是异步 API 模式,replicate.md 是路由,open-source-video.md 是本地开源模型(Wan2.2 / HunyuanVideo / CogVideoX),promotion.md 是分发说明。

核心规则有六条,都是可直接落地的写法。

1、调用前先解析模型别名。把社区叫法映射成真实 API 模型 ID,例如 sora-2、sora-2-pro、veo-3.0-generate-001、gen4_turbo、gen4_aleph。只用昵称标签会导致本可避免的调用失败。

2、按任务路由,不按品牌偏好路由。路由表如下。

任务 首选 备选
仅靠提示词的高质量生成 sora-2-pro veo-3.1-generate-001
低成本快速草稿 veo-3.1-fast-generate-001 gen4_turbo
长镜头电影感画面 gen4_aleph ray-2
强图生视频控制 veo-3.0-generate-001 gen4_turbo
多镜头叙事一致性 Seedance 系列 hailuo-2.3
本地隐私优先 Wan2.2 / HunyuanVideo / CogVideoX —

3、先用便宜档出草稿,再用高档重渲。先跑低时长低档位,验证运动和构图,再对胜出的版本用高级模型或更长时长重渲。在没验证 3—5 秒草稿前就推 8—10 秒成片,是典型的额度浪费。

4、把提示词当镜头指令写。必须包含主体、动作、运镜、镜头风格、光线、场景时长六个要素。使用参考图或首尾帧时,连续性约束要显式写出来。

5、默认按异步与失败处理。每条供应商流水线都要支持排队任务、轮询与退避、重试、取消、以及在签名 URL 过期前下载。

6、保留兜底链。首选模型被限流或不可用时,依次退到同供应商低档位、跨供应商等价模型、开源或本地模型。

安装与启用

ClawHub 页面给出的安装命令是:

openclaw skills install @ivangdavila/video-generation

页面同时提供 npx skills 形式的 CLI 安装入口。

首次使用时要先读 setup.md,也就是要先完成配置,再调用生成。

智能体的用户偏好存放在 ~/video-generation/ 目录,目录结构如下。

~/video-generation/
├── memory.md # Preferred providers, model routing, reusable shot recipes
└── history.md # Optional run log for jobs, costs, and outputs

memory.md 记录偏好供应商、模型路由和可复用的镜头配方,history.md 是可选的运行日志,用于记录任务、成本和产出。模板见 memory-template.md。

需要注意:该 Skill 标记为 requires_api_key,因此 OpenAI、Google Vertex AI、Runway、Luma、Fal、Replicate、Vidu、腾讯 MPS 的密钥都要预先配好,Skill 本身不会把密钥写进项目文件。

典型用法

一个可复现的调用顺序如下。

1、把用户给的提示词按镜头指令展开。例如要产品演示,就补上主体(产品)、动作(旋转展示)、运镜(缓慢推近)、镜头风格(浅景深)、光线(柔光箱)、场景时长(3 秒草稿)。

2、按路由表选模型。概念验证阶段用 veo-3.1-fast-generate-001 或 gen4_turbo 出 3—5 秒草稿。

3、提交任务后进入轮询。用 api-patterns.md 里的异步模式,带退避和重试,不要按同步请求设超时。

4、拿到结果后检查运动和构图。不达标就调提示词里的运镜或时长,重跑草稿;达标再用 sora-2-pro 或更长时长重渲。

5、下载要在签名 URL 过期前完成,否则导出链路会断。

涉及的外部端点如下,除这些之外没有其他数据外发。

供应商 端点 发送的数据 用途
OpenAI api.openai.com 提示词文本、可选输入图/视频参考 Sora 2 生成
Google aiplatform.googleapis.com 提示词文本、可选输入图、生成参数 Veo 3.x 生成
Runway api.dev.runwayml.com 提示词文本、可选输入媒体 Gen-4 生成与图生视频
Luma api.lumalabs.ai 提示词文本、可选关键帧/首尾图 Ray 生成
Fal queue.fal.run 提示词文本、可选输入媒体 Pika 与 Hailuo 托管 API
Replicate api.replicate.com 提示词文本、可选输入媒体 多模型路由与实验
Vidu api.vidu.com 提示词文本、可选首尾/参考图 Vidu 文/图/参考视频 API
腾讯 mps.tencentcloudapi.com 提示词文本与生成参数 统一 AIGC 视频任务 API

留在本地的是 ~/video-generation/memory.md 里的供应商偏好,以及可选的 history.md 任务历史。Skill 不会把密钥存进项目文件,不会在请求之外上传媒体,也不会在用户没要求时删除本地素材。

适用场景与注意

适合的场景:需要批量生成或编辑 AI 视频、需要在不同模型之间做路由决策、需要稳定跑异步渲染流水线、需要按镜头语言重写提示词。

不适合的场景:只做单帧静态图生成(那是 image-generation 的范畴)、成片后处理与导出(video-edit、ffmpeg)、字幕与文字叠加(video-captions)。这些在 ClawHub 页面上都列为相关 Skill,可按需组合。

几个已知的坑,按官方 Common Traps 列出。

1、代码里只用模型昵称标签,导致可避免的调用失败。
2、没验证 3—5 秒草稿就直接推 8—10 秒成片,浪费额度。
3、生成后裁剪而不是按原生比例生成,构图质量下降。
4、忽略提示词增强开关,跨供应商时风格漂移。
5、复用已过期的输出 URL,导出链路断裂。
6、把所有供应商当同步处理,任务卡住、超时设置不合理。

安全边界需要留意:这个 Skill 会把提示词和媒体参考发给第三方 AI 供应商。只有在信任这些供应商的前提下才安装。

资料核对说明

写作时核对了两个来源,二者存在不一致。SkillHub 列表页(https://www.skillhub.cn/skills/clawhub_ivangdavila/video-generation 与 https://api.skillhub.cn/org-b6kzcl68/video-generation)在本次写作时无法打开,因此本文的名称、版本、发布者、安装命令、模型清单与规则全部以可打开的 ClawHub 上游页面为准。列表页简介中提到的 each::sense 智能体工作流、8 个专用模型、评分 98511、下载 13099 次以及淘宝「AI灵匣」店铺提示,均未能打开核实,故未作为正文事实写入。

结尾

这个 Skill 的价值不在多一个模型入口,而在把模型别名解析、任务路由、提示词结构、异步与兜底这四件事固化下来,让智能体按同一套规则跑不同供应商的视频生成。

官方地址:https://clawhub.ai/ivangdavila/video-generation

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye