前言¶
在 DeepSeek Harness(DSH)裏做視頻、播客或遊戲音效時,智能體往往只能寫合成代碼或零散腳本:音色像振盪器堆疊,旁白與音效各走各的時間軸,最後混響、電平也靠手調。AnyAudio 是面向 AI 智能體的音頻製作工具集,由維護者 cloudoyx 發佈,分類爲客戶端插件;它提供採樣樂器渲染、時間軸編排、音效、語音合成、多軌混音以及視頻音軌合成,把創意決策留給智能體,把執行與工具鏈留在插件側。
這是什麼¶
AnyAudio(npm 包名 dsh-any-audio,當前資料記載版本 0.1.1)是 DSH 上的音頻生產工具包。README 將其定位爲:智能體保留創作決策,插件提供把「聲音想法」變成成品音頻文件所需的工具與執行。項目狀態標註爲 early release,許可證爲 MIT;GitHub 倉庫 cloudoyx/any-audio 在資料中星標爲 1。
與「模型直接寫 NumPy 發聲代碼」相比,插件側強調:用本地採樣庫渲染真實樂器音色;音符以毫秒精度落在統一時間軸上;多軌按順序混音,支持每軌增益、聲像與淡入淡出;將某軌聲明爲 narration 時會對其它總線做 ducking,主總線峯值歸一化以避免削波。
核心功能¶
下面按 README 已寫明的能力歸納,不展開資料未給出的 API 細節。
樂器與編排
從已安裝的 SoundFont 採樣庫渲染樂器,而非手寫波形。音樂、旁白與音效共用同一時鐘。
音效與語音
音效可來自已安裝採樣庫或程序化生成。語音合成支持 Edge TTS 與 MiMo-V2.5-TTS(README 註明 MiMo 當前可免費使用)。資料說明 ffmpeg 僅在語音相關流程以及視頻 mux 時需要。
混音
自動平衡多軌;旁白軌可觸發對其它軌的 ducking;主輸出峯值歸一化。
視頻與其它用途
視頻配樂是用途之一;同一流水線也可用於場景音效、獨立音樂、有聲書、播客與遊戲音頻等(見 README「What it solves」與 Quick start 示例)。
音源庫
安裝包不捆綁 SoundFont。建議在 DSH Settings 的 AnyAudio 頁面一鍵安裝推薦庫(默認建議 GeneralUser GS);也可將兼容的 .sf2、.sf3、.dls 放入 ~/.dsh/anyaudio/fonts,該目錄爲本機共享庫,裝一次即可在各項目與會話中使用。README 還列出 MuseScore General 等推薦庫及若干需手動獲取的單樂器庫(表格在倉庫 README 中)。
無頭渲染(開發用)
從源碼安裝時,可用 CLI 在無智能體的情況下迭代樂譜:
node scripts/anyaudio-cli.mjs render score.json out.wav
安裝與啓用¶
環境要求:Node.js 22.19+(22.x)或 24+(DSH 捆綁版本亦可);語音與視頻 mux 需本機已安裝 ffmpeg。
官方註冊表安裝命令如下(資料原文,勿自行拼接 github:owner/repo):
dsh plugin --profile desktop add dsh-any-audio
若 DSH 使用其它 profile,將 desktop 換成實際 profile 名。安裝後需重啓 DSH 一次以便加載插件。
接着在 DSH Settings 中打開 AnyAudio 頁面:安裝音源(默認建議 GeneralUser GS)、切換語音引擎、調整混音默認值。包內不包含 SoundFont,需按頁面或文檔自行安裝。
本地開發可從克隆目錄以絕對路徑添加(README「From source」);該路徑需爲絕對路徑,添加後同樣需重啓 DSH。克隆後執行 npm install && npm run font 可預下載約 72 MB 的推薦採樣庫到共享目錄。用戶規則要求正文面向常規安裝;若僅作開發參考,完整命令見 GitHub README。
典型用法¶
用法以自然語言描述任務爲主,智能體在生成視頻或純音頻時會自行調用插件渲染。
視頻配樂示例(README Quick start)
Make a 30-second ink-wash animation: a seed in a rock crevice grows into a sapling. Add a little Chinese-style music and wind, no narration.
混音與樂器編配
Guzheng lead, strings bed, cello on the low end; pull the music down whenever a voice comes in.
成曲 brief
Write me a Japanese RPG battle theme, loopable, 30 to 60 seconds. Drums, electric guitar and strings.
有聲書
Turn Chapter 1 of Romance of the Three Kingdoms into an audiobook — deep, rich narration, distinguishable character voices, with simple background music and effects.
README 的「Hear the difference」一節提供了有無插件的對比指標(峯值/平均電平、crest factor、頻譜質心等),用於說明採樣樂器與 TTS+音效管線相對純代碼合成的差異;具體數值以倉庫爲準,此處不重複羅列。
適用場景與注意¶
適合誰
需要在 DSH 對話裏完成配樂、旁白、音效與混音,並希望輸出接近「樂器/錄音/成品混音」而非裸合成器的開發者與智能體工作流搭建者。
權限與安全
插件隨當前 DSH 進程權限運行。安裝前應閱讀倉庫源碼與 MIT 許可證,並知悉 early release 狀態及 README 中的 known limitations(資料截斷處未展開,以 GitHub 爲準)。
生態說明
DSH 採用「一切皆插件」的擴展方式;社區目錄頁 skillhub.cn/plugins/cloudoyx/any-audio 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係,並非官方應用商店。
結尾¶
AnyAudio 把採樣渲染、統一時間軸、TTS、音效與多軌混音收進一個 DSH 客戶端插件,便於智能體在一條流水線裏產出可交付的音頻。進一步瞭解可訪問目錄頁與倉庫:
- 目錄頁:https://www.skillhub.cn/plugins/cloudoyx/any-audio
- GitHub:https://github.com/cloudoyx/any-audio