前言¶
在 DeepSeek Harness(DSH)裏做帶界面的智能體時,對話和軌跡頁籤往往夠用,但一旦你希望會話裏能「看見」一個虛擬形象——LIVE2D 口型、側邊欄裏的攝像頭與麥克風狀態、TTS 時的氣泡——把這些都塞進同一個單體插件,升級和維護都會變重。自 4.0.0 起,Stella-Mira 的 muse_vtuber 把職責收窄爲「畫」:只負責 GUI 上的 「形象」 頁籤、LIVE2D 舞臺與五個形象工具;攝像頭、麥克風、ASR、識圖與 TTS 分別交給 mira_device、mira_media。下面介紹它是什麼、怎麼裝、怎麼用。
這是什麼¶
muse_vtuber 是 DSH 插件,維護者爲 Stella-Mira,在 SkillHub 社區目錄中歸類爲 趣味換裝。當前 package 版本爲 4.2.0(MIT 許可證,Node >=18)。
它在宿主 GUI 中註冊 conversation.view(id: "muse-avatar",order: 20),在 「對話」「軌跡」之後 增加 「形象」 頁籤;設置裏對應 「形象」 分區,只管 LIVE2D 模型與畫布。插件本體 零 npm 第三方依賴,LIVE2D 運行庫在 assets/lib/;宿主側還需已注入 tools、webServer、miraMedia、miraDevice。
依賴關係可以概括爲:
muse_vtuber(本插件)──→ mira_device ──→ mira_media
畫 LIVE2D、右側欄、 攝像頭/麥克風/ TTS/ASR/VAD/憑據
表情/動作/模型 採集器/自動推幀 (唯一一份阿里雲 key)
核心功能¶
界面¶
- 主位:LIVE2D;說話時口型跟音量;未選模型時 頻譜環 兜底(麥克風頻譜 / TTS 播放器頻譜 / 空閒呼吸波形)。
- 右側欄(自上而下):視頻、音頻、LIVE2D 表情;視頻與波形數據來自
window.__miraDevice__,形象本身不直接操作硬件。 - 說話與插話:TTS 由 mira_media(工具
device_say)播放;形象只訂閱say做氣泡與口型,避免雙重出聲。語音識別插話在 mira_device 完成。
落盤與配置¶
配置與狀態寫在 $DSH_HOME/mira_config/muse_vtuber/:
$DSH_HOME/mira_config/muse_vtuber/
config.json 配置(schemaVersion 1),首次運行自動創建
state.json 形象實況(可見性/模型/表情/開關/動作)
model/ 可選本地模型目錄
config.json 修改後下次讀取即熱加載;更換插件宿主代碼需重啓 dsh web(Loader 會緩存已解析模塊)。DashScope 憑據與採集器配置已遷至 mira_media、mira_device,不再落在本目錄。
常用配置項:
| 鍵 | 默認 | 說明 |
|---|---|---|
enabled |
true |
false 時不註冊工具與路由 |
live2d.modelsDir |
"" |
留空則依次找 muse_vtuber/model、mira_live2d/model |
live2d.model |
"" |
留空則不顯示模型(僅頻譜環);設置頁保存後立即切換 |
live2d.width / height |
420 / 560 |
畫布初始 CSS 尺寸 |
legacyNode.enabled |
false |
2.x 外部 stella 節點橋,默認關閉 |
工具(5 個,4.1.0 起無賬號/權限模型)¶
| 工具 | 作用 |
|---|---|
vtuber_status |
只讀狀態、模型清單、缺失資源,並轉述聲音/輸入插件狀態 |
vtuber_expression |
互斥表情 / 疊加開關 |
vtuber_motion |
播放動作或列清單 |
vtuber_visible |
顯示/隱藏形象主體 |
vtuber_model |
切換模型;clear:true 僅留頻譜環 |
舊版工具名 vtuber_say、vtuber_camera 等已分別改爲 device_say、device_camera 等,預設裏若仍寫舊名需要一併更新。
HTTP 與事件¶
同源路由前綴 /vtuber/api/*,例如 GET /vtuber/api/bootstrap、GET /vtuber/api/events(SSE:hello / state)、GET /vtuber/api/health。TTS、ASR、識圖、採集流已拆到 /media/api/*、/device/api/*。
安裝與啓用¶
DSH 社區目錄 SkillHub 與 GitHub README 均未給出 dsh plugin add github:… 形式的 CLI;安裝方式以目錄頁 「發送給 DeepSeek Harness 安裝」 的自然語言說明爲準。頁面可見文案以如下句子開頭(安裝時請複製目錄頁上的完整段落,避免截斷):
請安裝 DSH 插件 Stella-Mira/muse_vtuber。
README 驗收步驟寫明需 三件套一起裝好:除 muse_vtuber 外,還需 mira_device、mira_media,否則 /vtuber/api/health 裏依賴未就位、側邊欄視頻/音頻與說話鏈路不完整。安裝包名須與 package.json 的 name: muse_vtuber 一致,不要用別名,否則前端 dsh.client 模塊可能無法加載。
插件安裝位置約定爲 PluginDSH/muse_vtuber。
典型用法¶
手工走通界面(README §11)¶
- 打開會議話界面,確認頁籤順序爲:對話、軌跡、形象。
- 進入 形象:主位爲 LIVE2D 或頻譜環;右側爲視頻 / 音頻 / 表情。
- 在輸入區點 攝像頭(控件屬於 mira_device):側邊欄視頻有畫面;再關則黑屏。
- 開 麥克風 說話:波形動;停頓後出現「聽到:…(已插話)」及會話中的
[感知·語音]。 - 用
device_say或 設置 · 聲音 試聽:形象口型、氣泡與 TTS 同步。 - 設置 · 形象 選模型並保存:立即切換;留空則只顯示頻譜環。
智能體調形象¶
先 vtuber_status 看模型與缺失貼圖;換模型用 vtuber_model;演表情 vtuber_expression、動作 vtuber_motion;需要收起主體時用 vtuber_visible。發聲、開攝像頭、識圖等請調用 mira_media / mira_device 對應工具,而不是已刪除的 vtuber_say 等舊接口。
適用場景與注意¶
適合:希望在 DSH Web GUI 裏固定一塊 LIVE2D 展示面、又讓會話工具能程序化改表情/模型/顯隱的開發者;可與同作者的 mira_device、mira_media 組成完整 VTuber 式交互。
注意:
- 插件在 當前 DSH 進程權限 下運行,安裝前請自行閱讀 GitHub 源碼 與 MIT 許可證。
- SkillHub 爲社區目錄站點,與 DeepSeek / 幻方無官方從屬關係;版本與說明以倉庫 README、
package.json爲準。 - 從 ≤3.1.0 單體升級時,README §8 列了配置與工具遷移表;遷移只讀舊文件,回滾需停用三件套並啓用舊版 muse_vtuber 3.1.0。
mira_device默認vision.autoIntervalMs: 0,自動識圖需顯式配置,避免持續消耗額度。
結尾¶
muse_vtuber 把 DSH 裏的「長什麼樣」從「怎麼聽、怎麼說、怎麼採輸入」裏拆出來:形象頁籤、LIVE2D、五個 vtuber_* 工具與 /vtuber/api 面專注展示與狀態;聲音與設備交給配套插件。若要安裝或跟蹤更新,可看目錄頁 Stella-Mira/muse_vtuber 與倉庫 github.com/Stella-Mira/muse_vtuber。