参考音频改编AI:在 Agent 里用参考音频做音乐二创

前言

做音乐二创时,常见路径是:把 demo 或参考曲丢进网页工具,手写提示词,再在多个页面里等生成、挑版本、下载。若你已经在 Cursor、Codex 或 Claude Code 里用 Agent 写代码、改文档,更希望用自然语言描述「保留律动、改副歌」这类意图,由 Agent 直接调本地命令完成上传、生成和轮询。

下面介绍 SkillHub 社区 Skill「参考音频改编AI」(坐标 @user_87b8e34f/reference-music-remix,当前版本 1.3.2)。它把海绵音乐的生成能力封装成本地 Node CLI aimv,Agent 通过 SKILL.md 学会在合适时机调用,而不是让你反复复制终端命令。

这是什么

「参考音频改编AI」是一条面向 design-media(子类:音频处理)的 Agent Skill,由社区发布者 user_87b8e34f(SkillHub 展示名「AI音乐人」)维护,底层能力由海绵音乐提供。账号、积分、会员与作品库与「海绵音乐AI写歌」小程序及 lexuan.club 互通。

一句话定位:基于参考音频、demo、歌曲 ID 或项目 ID 继续创作、改编和生成新音乐;生成结果会同步到海绵音乐账号,便于在小程序或网页继续管理。

Skill 元数据标记 requires_api_key=true,首次使用需通过网页连接页获取 API Key 并完成本地初始化。

核心功能

以下能力均来自官方 SKILL.md 与发布包说明,可与 SkillHub 页面摘要交叉核对。

  1. 多类输入继续创作:支持本地参考文件(如 demo)、已有歌曲、项目 ID,在保留律动、情绪或风格方向的前提下产出新的歌曲候选。
  2. 本地 CLI,非 MCP:推荐工具名为 aimv,入口为安装目录下的 bin/aimv.js,执行方式为 node <安装目录>/bin/aimv.js ...。这是通用 Node CLI,不是 MCP stdio 服务,不应使用 codex mcp add 等方式把 aimv 注册成 MCP server。
  3. Agent 侧闭环:具备 shell 权限时,初始化、生成、查询、下载应由 Agent 直接运行 CLI;未登录时 Agent 运行 init,把连接页链接发给用户,用户登录后贴回 API Key,再由 Agent 执行 init --api-key。
  4. 结构化错误引导:CLI 输出 [error] / [hint] 标签,覆盖鉴权(auth_required)、积分(insufficient_points / 402)、额度(quota_limited / 429)、等待超时(wait_timeout)等场景,并附带 connect_url 或 pay_url。
  5. 受限环境备选:可设置 AIMV_FORCE_CURL=1 让 CLI 走系统 curl;或在 CLI 不可用时按文档用 curl 调用 https://music.68zysm.cn/api/v3 下接口完成创建、轮询与下载。

触发语义(用户说法或英文关键词)包括:参考音频改编、音乐改编、旋律参考、demo改编、参考音乐生成、AI改编歌曲、参考音频生成、续写歌曲,以及 reference audio、music remix AI 等。

安装与启用

通过 SkillHub 安装

SkillHub 官方安装说明为:先阅读 https://skillhub.cn/install/skillhub.md,再安装坐标 @user_87b8e34f/reference-music-remix。也可将下列提示词发给支持 Skill 安装的 Agent:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_87b8e34f/reference-music-remix。

页面还提供 v1.3.2 的 Zip 包下载地址:

https://api.skillhub.cn/api/v1/download?slug=@user_87b8e34f/reference-music-remix

解压后为已构建的 Node 发布包,无需再执行 pnpm install 或 pnpm build。运行环境要求 Node.js >= 18。

本地初始化

进入解压目录后,先做账号连接:

node ./bin/aimv.js init

CLI 会输出连接页链接(形如 https://lexuan.club/skills/connect?slug=reference-music-remix&from=skill)。用户在该页登录(新用户可自动注册)并复制 API Key 后,由 Agent 执行:

node ./bin/aimv.js init --api-key <KEY>

也可非交互写入 Key:

node ./bin/aimv.js config set-api-key --stdin

默认 API Base URL 为 https://music.68zysm.cn/api/v3,网页入口为 https://lexuan.club(见包内 runtime-defaults.json)。

不同 Agent 的差异

  • Codex:将发布包内 SKILL.md 复制到 $HOME/.codex/skills/reference-music-remix/SKILL.md,重启 Codex;命令使用 node <安装目录>/bin/aimv.js。
  • Claude / Claude Code:按当前客户端支持的 Skills 目录或本地命令工具接入;工具名建议 aimv,command 为 node,args 指向 bin/aimv.js 的绝对路径。若仅支持 MCP,需额外 wrapper,本包本身不是 MCP server。
  • Cursor 等具备 shell 的 Agent:确保能读取 SKILL.md,并可直接执行 node ./bin/aimv.js ...;有工具注册能力时,可按 INSTALL.md 中的 JSON 示例注册 aimv。

验证配置是否生效:

node ./bin/aimv.js config show

典型用法

官方在 SKILL.md 中给出的推荐命令如下。第一条基于本地参考文件;第二条基于已有项目 ID 做延续改编。

node <安装目录>/bin/aimv.js song create --brief "保留律动但让副歌更抓耳" --reference-file ./demo.mp3 --wait
node <安装目录>/bin/aimv.js song create --brief "延续这个项目,但副歌更抓耳" --project-id 123456 --wait

--wait 会在 CLI 侧等待任务完成;若出现 wait_timeout,任务可能仍在后台生成,需按 hint 查询状态。每个项目通常固定两首候选,呈现给用户时应一并说明。

参考音频上传也可走 API(需与 CLI 相同的鉴权头),例如:

curl -F "file=@./demo.mp3" https://music.68zysm.cn/api/v3/ai-music/reference-audios/upload \
  -H "X-API-Key: $AIMV_API_KEY" -H "X-Platform: skill" \
  -H "X-App-Id: reference-music-remix" -H "X-AIMV-Skill-Slug: reference-music-remix"

沙箱缺少 HOME 时,可用环境变量 AIMV_CONFIG_DIR 重定向配置目录,或用 AIMV_API_KEY 替代本地配置文件中的 Key。

适用场景与注意

适合谁

  • 需要 reference music remix、demo 改编、歌曲二创,且希望在对话里描述意图、由 Agent 执行全流程的创作者。
  • 已在海绵音乐体系内有账号/作品,希望生成结果自动同步到小程序或 lexuan.club 的用户。

使用注意

  1. API Key 与计费:Skill 依赖海绵音乐账号;积分不足或触达额度上限时,需按 CLI 提供的 pay_url 在网页完成充值或会员开通后重试。
  2. 不要误注册 MCP:aimv 是本地 Node 进程,与 MCP server 模型不同;错误注册会导致 Agent 无法按文档路径调用。
  3. 网络受限沙箱:优先尝试 AIMV_FORCE_CURL=1;仍失败时再按 SKILL.md 中的 curl 三步闭环直接调 API。
  4. 社区来源:SkillHub 标注来源为 community,分类 design-media;截至资料抓取时,页面统计约 9468 次下载、Skill 标签要求 API Key。使用前请自行评估账号与内容合规风险。

结尾

「参考音频改编AI」把「参考音频 / demo / 项目 ID 续写改编」收敛成 Agent 可执行的 aimv CLI 与一份标准 SKILL.md,适合想把音乐二创留在编码环境里、又需要与海绵音乐作品库打通的场景。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜