AI 视频生成

The SkillHub directory pages failed to load, but the upstream ClawHub page resolved. I’ll anchor the article to the verified facts there and note the unverified claims.

call_write_result_mdmarkdown# AI Video Generation:把多模型视频生成收进一套提示与渲染工作流

前言

接入 AI 视频生成时,常见的麻烦不在模型本身,而在别处:社区叫法和真实模型 ID 对不上、同一个提示词在不同厂商那里效果漂移、异步任务没做轮询和退避,跑出来的片段要么失败要么超时。把这些问题逐个处理一遍,比调参更花时间。

下面介绍的 Skill 把这部分工作前移:模型路由、提示词结构、异步流水线、失败回退都写成规则,调用时按规则走。

这是什么

AI Video Generation 是一个面向 AI 视频生成的 Skill,作者 Iván(@ivangdavila),上游仓库位于 ClawHub,坐标 @clawhub_ivangdavila/video-generation,当前版本 v1.0.1,许可证 MIT-0,来源为 clawhub。

它解决的问题是:在 Sora 2、Veo 3、Seedance、Runway、Luma、Kling、Vidu、Pika、MiniMax Hailuo 等多家厂商之间,如何选对模型、写好提示、跑稳异步渲染。

需要说明的是,任务线索里给出的官方地址 https://api.skillhub.cn/infimind/video-generation 及「SkillHub 评分 91621、下载 48466 次」这一组数字,在抓取时未能打开页面核对,本文不采用,请以官方页面为准。本文事实以 ClawHub 上游仓库为准。

核心功能

Skill 的能力不在新增一个 API,而在把已有的多家视频 API 组织成可重复的工作流。

  1. 模型别名解析:调用前先把社区名映射成真实 API 模型 ID,例如 sora-2、sora-2-pro、veo-3.0-generate-001、gen4_turbo、gen4_aleph。只写昵称的模型标签会导致可避免的调用失败。
  2. 按任务路由:第一选择看任务类型,而不是品牌偏好。
  3. 先低成本草稿、再高价精修:先用短时长、低档位验证动作和构图,确认后再用高端模型或更长时长重渲染。
  4. 提示词按分镜指令设计:主体、动作、运镜、镜头风格、光线、场景节奏都要包含;涉及参考帧和起止帧时,连续性约束要写明。
  5. 默认假设异步与失败:每条厂商流水线都要支持排队任务、轮询与退避、重试、取消,以及在签名 URL 过期前下载。
  6. 保持回退链:首选模型被限流或过载时,依次退到同厂商低档位、跨厂商等价模型、开源或本地运行。

按任务路由的参考表如下:

任务 首选 备选
高质量纯提示词生成 sora-2-pro veo-3.1-generate-001
低成本快速草稿 veo-3.1-fast-generate-001 gen4_turbo
长镜头电影感画面 gen4_aleph ray-2
强图生视频控制 veo-3.0-generate-001 gen4_turbo
多镜头叙事一致性 Seedance 系列 hailuo-2.3
本地优先、注重隐私 Wan2.2 / HunyuanVideo / CogVideoX —

模型快照与各家细节分别写在 benchmarks.md、openai-sora.md、google-veo.md、seedance.md、runway.md 等文档里。

安装与启用

安装走 OpenClaw 的 skills CLI,官方命令如下:

openclaw skills install @clawhub_ivangdavila/video-generation

首次使用时先读 setup.md。用户偏好持久化在 ~/video-generation/ 目录下,目录结构见 memory-template.md:

~/video-generation/
├── memory.md # 首选厂商、模型路由、可复用的分镜配方
└── history.md # 可选的运行日志,记录任务、成本与产出

工具链上,ClawHub 页面标注了 CLI npx skills,并给出 npx skills 作为安装入口的提示。关于 Cursor、Codex CLI、Claude Code 的差异,官方页面未分别说明,本文不写。

启用后,Skill 会按上述六条核心规则工作,并把厂商调用限制在下列外部端点:

厂商 端点 用途
OpenAI api.openai.com Sora 2 视频生成
Google Vertex AI aiplatform.googleapis.com Veo 3.x 生成
Runway api.dev.runwayml.com Gen-4 生成与图生视频
Luma api.lumalabs.ai Ray 生成
Fal queue.fal.run Pika 与 Hailuo 托管 API
Replicate api.replicate.com 多模型路由与试验
Vidu api.vidu.com Vidu 文/图/参考视频 API
Tencent MPS mps.tencentcloudapi.com 统一 AIGC 视频任务 API

页面注明除上述端点外不向其他地方发送数据。

典型用法

按官方文档,使用流程是:首次运行先读 setup.md 完成配置,之后每次调用先解析模型别名,再按任务路由,先出草稿再精修。

  1. 起一个低成本草稿:用 veo-3.1-fast-generate-001 或 gen4_turbo,短时长,验证动作与构图。
  2. 确认草稿可用后,用 sora-2-pro 或 veo-3.1-generate-001 重渲染。
  3. 多镜头叙事场景走 Seedance 系列,保证跨镜头一致性。
  4. 任何情况下都按异步处理:提交后轮询队列、失败退避重试、在签名 URL 过期前取回结果。

提示词按分镜指令写,例如主体是谁、做什么动作、镜头怎么动、什么镜头风格、光线如何、场景节奏怎样。涉及参考帧或起止帧时,把连续性约束显式写出来,而不是生成后再裁切。

适用场景与注意

适合需要在多家视频厂商之间稳定出片、又不想为每个厂商重写一遍异步与提示逻辑的开发者。它在多模型路由、提示词结构、异步流水线和回退链上有明确规则,适合接入 Agent 后自动选模型。

几点限制要注意:

  1. 这个 Skill 会把你的提示词和媒体引用发送到第三方 AI 厂商,只有信任这些厂商时才安装。
  2. 模型 ID 必须用真实 ID,只写社区昵称会导致调用失败。
  3. 不要在还没验证 3–5 秒草稿的情况下直接推 8–10 秒生成,会浪费额度。
  4. 原生比例要在生成时设好,事后裁切会降低构图质量。
  5. 不要忽略提示词增强开关,否则跨厂商会出现语气漂移。
  6. 不要把任何厂商当同步调用处理,否则会出现任务卡住和超时处理不当。

本地数据方面,厂商偏好保存在 ~/video-generation/memory.md,运行日志可选保存在 history.md。Skill 不会在项目文件里存 API key,不会在用户未要求时上传媒体,也不会在用户未要求时删除本地资源。

结尾

这个 Skill 的价值在于把 AI 视频生成里分散的决策——选哪个模型、提示词怎么写、异步怎么兜底、失败怎么回退——收敛成一套可执行规则,减少重复踩坑。安装命令和上游地址以官方页面为准:

openclaw skills install @clawhub_ivangdavila/video-generation
https://clawhub.ai/ivangdavila/video-generation

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye