前言¶
在 DeepSeek Harness(DSH)里做视频、播客或游戏音效时,智能体往往只能写合成代码或零散脚本:音色像振荡器堆叠,旁白与音效各走各的时间轴,最后混响、电平也靠手调。AnyAudio 是面向 AI 智能体的音频制作工具集,由维护者 cloudoyx 发布,分类为客户端插件;它提供采样乐器渲染、时间轴编排、音效、语音合成、多轨混音以及视频音轨合成,把创意决策留给智能体,把执行与工具链留在插件侧。
这是什么¶
AnyAudio(npm 包名 dsh-any-audio,当前资料记载版本 0.1.1)是 DSH 上的音频生产工具包。README 将其定位为:智能体保留创作决策,插件提供把「声音想法」变成成品音频文件所需的工具与执行。项目状态标注为 early release,许可证为 MIT;GitHub 仓库 cloudoyx/any-audio 在资料中星标为 1。
与「模型直接写 NumPy 发声代码」相比,插件侧强调:用本地采样库渲染真实乐器音色;音符以毫秒精度落在统一时间轴上;多轨按顺序混音,支持每轨增益、声像与淡入淡出;将某轨声明为 narration 时会对其它总线做 ducking,主总线峰值归一化以避免削波。
核心功能¶
下面按 README 已写明的能力归纳,不展开资料未给出的 API 细节。
乐器与编排
从已安装的 SoundFont 采样库渲染乐器,而非手写波形。音乐、旁白与音效共用同一时钟。
音效与语音
音效可来自已安装采样库或程序化生成。语音合成支持 Edge TTS 与 MiMo-V2.5-TTS(README 注明 MiMo 当前可免费使用)。资料说明 ffmpeg 仅在语音相关流程以及视频 mux 时需要。
混音
自动平衡多轨;旁白轨可触发对其它轨的 ducking;主输出峰值归一化。
视频与其它用途
视频配乐是用途之一;同一流水线也可用于场景音效、独立音乐、有声书、播客与游戏音频等(见 README「What it solves」与 Quick start 示例)。
音源库
安装包不捆绑 SoundFont。建议在 DSH Settings 的 AnyAudio 页面一键安装推荐库(默认建议 GeneralUser GS);也可将兼容的 .sf2、.sf3、.dls 放入 ~/.dsh/anyaudio/fonts,该目录为本机共享库,装一次即可在各项目与会话中使用。README 还列出 MuseScore General 等推荐库及若干需手动获取的单乐器库(表格在仓库 README 中)。
无头渲染(开发用)
从源码安装时,可用 CLI 在无智能体的情况下迭代乐谱:
node scripts/anyaudio-cli.mjs render score.json out.wav
安装与启用¶
环境要求:Node.js 22.19+(22.x)或 24+(DSH 捆绑版本亦可);语音与视频 mux 需本机已安装 ffmpeg。
官方注册表安装命令如下(资料原文,勿自行拼接 github:owner/repo):
dsh plugin --profile desktop add dsh-any-audio
若 DSH 使用其它 profile,将 desktop 换成实际 profile 名。安装后需重启 DSH 一次以便加载插件。
接着在 DSH Settings 中打开 AnyAudio 页面:安装音源(默认建议 GeneralUser GS)、切换语音引擎、调整混音默认值。包内不包含 SoundFont,需按页面或文档自行安装。
本地开发可从克隆目录以绝对路径添加(README「From source」);该路径需为绝对路径,添加后同样需重启 DSH。克隆后执行 npm install && npm run font 可预下载约 72 MB 的推荐采样库到共享目录。用户规则要求正文面向常规安装;若仅作开发参考,完整命令见 GitHub README。
典型用法¶
用法以自然语言描述任务为主,智能体在生成视频或纯音频时会自行调用插件渲染。
视频配乐示例(README Quick start)
Make a 30-second ink-wash animation: a seed in a rock crevice grows into a sapling. Add a little Chinese-style music and wind, no narration.
混音与乐器编配
Guzheng lead, strings bed, cello on the low end; pull the music down whenever a voice comes in.
成曲 brief
Write me a Japanese RPG battle theme, loopable, 30 to 60 seconds. Drums, electric guitar and strings.
有声书
Turn Chapter 1 of Romance of the Three Kingdoms into an audiobook — deep, rich narration, distinguishable character voices, with simple background music and effects.
README 的「Hear the difference」一节提供了有无插件的对比指标(峰值/平均电平、crest factor、频谱质心等),用于说明采样乐器与 TTS+音效管线相对纯代码合成的差异;具体数值以仓库为准,此处不重复罗列。
适用场景与注意¶
适合谁
需要在 DSH 对话里完成配乐、旁白、音效与混音,并希望输出接近「乐器/录音/成品混音」而非裸合成器的开发者与智能体工作流搭建者。
权限与安全
插件随当前 DSH 进程权限运行。安装前应阅读仓库源码与 MIT 许可证,并知悉 early release 状态及 README 中的 known limitations(资料截断处未展开,以 GitHub 为准)。
生态说明
DSH 采用「一切皆插件」的扩展方式;社区目录页 skillhub.cn/plugins/cloudoyx/any-audio 为独立站点,与 DeepSeek / 幻方无官方从属关系,并非官方应用商店。
结尾¶
AnyAudio 把采样渲染、统一时间轴、TTS、音效与多轨混音收进一个 DSH 客户端插件,便于智能体在一条流水线里产出可交付的音频。进一步了解可访问目录页与仓库:
- 目录页:https://www.skillhub.cn/plugins/cloudoyx/any-audio
- GitHub:https://github.com/cloudoyx/any-audio