AnyAudio:让智能体把「声音想法」落成可混音的成品音频

前言

在 DeepSeek Harness(DSH)里做视频、播客或游戏音效时,智能体往往只能写合成代码或零散脚本:音色像振荡器堆叠,旁白与音效各走各的时间轴,最后混响、电平也靠手调。AnyAudio 是面向 AI 智能体的音频制作工具集,由维护者 cloudoyx 发布,分类为客户端插件;它提供采样乐器渲染、时间轴编排、音效、语音合成、多轨混音以及视频音轨合成,把创意决策留给智能体,把执行与工具链留在插件侧。

这是什么

AnyAudio(npm 包名 dsh-any-audio,当前资料记载版本 0.1.1)是 DSH 上的音频生产工具包。README 将其定位为:智能体保留创作决策,插件提供把「声音想法」变成成品音频文件所需的工具与执行。项目状态标注为 early release,许可证为 MIT;GitHub 仓库 cloudoyx/any-audio 在资料中星标为 1。

与「模型直接写 NumPy 发声代码」相比,插件侧强调:用本地采样库渲染真实乐器音色;音符以毫秒精度落在统一时间轴上;多轨按顺序混音,支持每轨增益、声像与淡入淡出;将某轨声明为 narration 时会对其它总线做 ducking,主总线峰值归一化以避免削波。

核心功能

下面按 README 已写明的能力归纳,不展开资料未给出的 API 细节。

乐器与编排
从已安装的 SoundFont 采样库渲染乐器,而非手写波形。音乐、旁白与音效共用同一时钟。

音效与语音
音效可来自已安装采样库或程序化生成。语音合成支持 Edge TTS 与 MiMo-V2.5-TTS(README 注明 MiMo 当前可免费使用)。资料说明 ffmpeg 仅在语音相关流程以及视频 mux 时需要。

混音
自动平衡多轨;旁白轨可触发对其它轨的 ducking;主输出峰值归一化。

视频与其它用途
视频配乐是用途之一;同一流水线也可用于场景音效、独立音乐、有声书、播客与游戏音频等(见 README「What it solves」与 Quick start 示例)。

音源库
安装包不捆绑 SoundFont。建议在 DSH Settings 的 AnyAudio 页面一键安装推荐库(默认建议 GeneralUser GS);也可将兼容的 .sf2、.sf3、.dls 放入 ~/.dsh/anyaudio/fonts,该目录为本机共享库,装一次即可在各项目与会话中使用。README 还列出 MuseScore General 等推荐库及若干需手动获取的单乐器库(表格在仓库 README 中)。

无头渲染(开发用)
从源码安装时,可用 CLI 在无智能体的情况下迭代乐谱:

node scripts/anyaudio-cli.mjs render score.json out.wav

安装与启用

环境要求:Node.js 22.19+(22.x)或 24+(DSH 捆绑版本亦可);语音与视频 mux 需本机已安装 ffmpeg。

官方注册表安装命令如下(资料原文,勿自行拼接 github:owner/repo):

dsh plugin --profile desktop add dsh-any-audio

若 DSH 使用其它 profile,将 desktop 换成实际 profile 名。安装后需重启 DSH 一次以便加载插件。

接着在 DSH Settings 中打开 AnyAudio 页面:安装音源(默认建议 GeneralUser GS)、切换语音引擎、调整混音默认值。包内不包含 SoundFont,需按页面或文档自行安装。

本地开发可从克隆目录以绝对路径添加(README「From source」);该路径需为绝对路径,添加后同样需重启 DSH。克隆后执行 npm install && npm run font 可预下载约 72 MB 的推荐采样库到共享目录。用户规则要求正文面向常规安装;若仅作开发参考,完整命令见 GitHub README。

典型用法

用法以自然语言描述任务为主,智能体在生成视频或纯音频时会自行调用插件渲染。

视频配乐示例(README Quick start)

Make a 30-second ink-wash animation: a seed in a rock crevice grows into a sapling. Add a little Chinese-style music and wind, no narration.

混音与乐器编配

Guzheng lead, strings bed, cello on the low end; pull the music down whenever a voice comes in.

成曲 brief

Write me a Japanese RPG battle theme, loopable, 30 to 60 seconds. Drums, electric guitar and strings.

有声书

Turn Chapter 1 of Romance of the Three Kingdoms into an audiobook — deep, rich narration, distinguishable character voices, with simple background music and effects.

README 的「Hear the difference」一节提供了有无插件的对比指标(峰值/平均电平、crest factor、频谱质心等),用于说明采样乐器与 TTS+音效管线相对纯代码合成的差异;具体数值以仓库为准,此处不重复罗列。

适用场景与注意

适合谁
需要在 DSH 对话里完成配乐、旁白、音效与混音,并希望输出接近「乐器/录音/成品混音」而非裸合成器的开发者与智能体工作流搭建者。

权限与安全
插件随当前 DSH 进程权限运行。安装前应阅读仓库源码与 MIT 许可证,并知悉 early release 状态及 README 中的 known limitations(资料截断处未展开,以 GitHub 为准)。

生态说明
DSH 采用「一切皆插件」的扩展方式;社区目录页 skillhub.cn/plugins/cloudoyx/any-audio 为独立站点,与 DeepSeek / 幻方无官方从属关系,并非官方应用商店。

结尾

AnyAudio 把采样渲染、统一时间轴、TTS、音效与多轨混音收进一个 DSH 客户端插件,便于智能体在一条流水线里产出可交付的音频。进一步了解可访问目录页与仓库:

  • 目录页:https://www.skillhub.cn/plugins/cloudoyx/any-audio
  • GitHub:https://github.com/cloudoyx/any-audio
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜