AnyAudio:讓智能體把「聲音想法」落成可混音的成品音頻

前言

在 DeepSeek Harness(DSH)裏做視頻、播客或遊戲音效時,智能體往往只能寫合成代碼或零散腳本:音色像振盪器堆疊,旁白與音效各走各的時間軸,最後混響、電平也靠手調。AnyAudio 是面向 AI 智能體的音頻製作工具集,由維護者 cloudoyx 發佈,分類爲客戶端插件;它提供採樣樂器渲染、時間軸編排、音效、語音合成、多軌混音以及視頻音軌合成,把創意決策留給智能體,把執行與工具鏈留在插件側。

這是什麼

AnyAudio(npm 包名 dsh-any-audio,當前資料記載版本 0.1.1)是 DSH 上的音頻生產工具包。README 將其定位爲:智能體保留創作決策,插件提供把「聲音想法」變成成品音頻文件所需的工具與執行。項目狀態標註爲 early release,許可證爲 MIT;GitHub 倉庫 cloudoyx/any-audio 在資料中星標爲 1。

與「模型直接寫 NumPy 發聲代碼」相比,插件側強調:用本地採樣庫渲染真實樂器音色;音符以毫秒精度落在統一時間軸上;多軌按順序混音,支持每軌增益、聲像與淡入淡出;將某軌聲明爲 narration 時會對其它總線做 ducking,主總線峯值歸一化以避免削波。

核心功能

下面按 README 已寫明的能力歸納,不展開資料未給出的 API 細節。

樂器與編排
從已安裝的 SoundFont 採樣庫渲染樂器,而非手寫波形。音樂、旁白與音效共用同一時鐘。

音效與語音
音效可來自已安裝採樣庫或程序化生成。語音合成支持 Edge TTS 與 MiMo-V2.5-TTS(README 註明 MiMo 當前可免費使用)。資料說明 ffmpeg 僅在語音相關流程以及視頻 mux 時需要。

混音
自動平衡多軌;旁白軌可觸發對其它軌的 ducking;主輸出峯值歸一化。

視頻與其它用途
視頻配樂是用途之一;同一流水線也可用於場景音效、獨立音樂、有聲書、播客與遊戲音頻等(見 README「What it solves」與 Quick start 示例)。

音源庫
安裝包不捆綁 SoundFont。建議在 DSH Settings 的 AnyAudio 頁面一鍵安裝推薦庫(默認建議 GeneralUser GS);也可將兼容的 .sf2、.sf3、.dls 放入 ~/.dsh/anyaudio/fonts,該目錄爲本機共享庫,裝一次即可在各項目與會話中使用。README 還列出 MuseScore General 等推薦庫及若干需手動獲取的單樂器庫(表格在倉庫 README 中)。

無頭渲染(開發用)
從源碼安裝時,可用 CLI 在無智能體的情況下迭代樂譜:

node scripts/anyaudio-cli.mjs render score.json out.wav

安裝與啓用

環境要求:Node.js 22.19+(22.x)或 24+(DSH 捆綁版本亦可);語音與視頻 mux 需本機已安裝 ffmpeg。

官方註冊表安裝命令如下(資料原文,勿自行拼接 github:owner/repo):

dsh plugin --profile desktop add dsh-any-audio

若 DSH 使用其它 profile,將 desktop 換成實際 profile 名。安裝後需重啓 DSH 一次以便加載插件。

接着在 DSH Settings 中打開 AnyAudio 頁面:安裝音源(默認建議 GeneralUser GS)、切換語音引擎、調整混音默認值。包內不包含 SoundFont,需按頁面或文檔自行安裝。

本地開發可從克隆目錄以絕對路徑添加(README「From source」);該路徑需爲絕對路徑,添加後同樣需重啓 DSH。克隆後執行 npm install && npm run font 可預下載約 72 MB 的推薦採樣庫到共享目錄。用戶規則要求正文面向常規安裝;若僅作開發參考,完整命令見 GitHub README。

典型用法

用法以自然語言描述任務爲主,智能體在生成視頻或純音頻時會自行調用插件渲染。

視頻配樂示例(README Quick start)

Make a 30-second ink-wash animation: a seed in a rock crevice grows into a sapling. Add a little Chinese-style music and wind, no narration.

混音與樂器編配

Guzheng lead, strings bed, cello on the low end; pull the music down whenever a voice comes in.

成曲 brief

Write me a Japanese RPG battle theme, loopable, 30 to 60 seconds. Drums, electric guitar and strings.

有聲書

Turn Chapter 1 of Romance of the Three Kingdoms into an audiobook — deep, rich narration, distinguishable character voices, with simple background music and effects.

README 的「Hear the difference」一節提供了有無插件的對比指標(峯值/平均電平、crest factor、頻譜質心等),用於說明採樣樂器與 TTS+音效管線相對純代碼合成的差異;具體數值以倉庫爲準,此處不重複羅列。

適用場景與注意

適合誰
需要在 DSH 對話裏完成配樂、旁白、音效與混音,並希望輸出接近「樂器/錄音/成品混音」而非裸合成器的開發者與智能體工作流搭建者。

權限與安全
插件隨當前 DSH 進程權限運行。安裝前應閱讀倉庫源碼與 MIT 許可證,並知悉 early release 狀態及 README 中的 known limitations(資料截斷處未展開,以 GitHub 爲準)。

生態說明
DSH 採用「一切皆插件」的擴展方式;社區目錄頁 skillhub.cn/plugins/cloudoyx/any-audio 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係,並非官方應用商店。

結尾

AnyAudio 把採樣渲染、統一時間軸、TTS、音效與多軌混音收進一個 DSH 客戶端插件,便於智能體在一條流水線裏產出可交付的音頻。進一步瞭解可訪問目錄頁與倉庫:

  • 目錄頁:https://www.skillhub.cn/plugins/cloudoyx/any-audio
  • GitHub:https://github.com/cloudoyx/any-audio
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜