muse_vtuber:在 DSH 裏給智能體加「形象」頁籤

前言

在 DeepSeek Harness(DSH)裏做帶界面的智能體時,對話和軌跡頁籤往往夠用,但一旦你希望會話裏能「看見」一個虛擬形象——LIVE2D 口型、側邊欄裏的攝像頭與麥克風狀態、TTS 時的氣泡——把這些都塞進同一個單體插件,升級和維護都會變重。自 4.0.0 起,Stella-Mira 的 muse_vtuber 把職責收窄爲「畫」:只負責 GUI 上的 「形象」 頁籤、LIVE2D 舞臺與五個形象工具;攝像頭、麥克風、ASR、識圖與 TTS 分別交給 mira_device、mira_media。下面介紹它是什麼、怎麼裝、怎麼用。

這是什麼

muse_vtuber 是 DSH 插件,維護者爲 Stella-Mira,在 SkillHub 社區目錄中歸類爲 趣味換裝。當前 package 版本爲 4.2.0(MIT 許可證,Node >=18)。

它在宿主 GUI 中註冊 conversation.view(id: "muse-avatar",order: 20),在 「對話」「軌跡」之後 增加 「形象」 頁籤;設置裏對應 「形象」 分區,只管 LIVE2D 模型與畫布。插件本體 零 npm 第三方依賴,LIVE2D 運行庫在 assets/lib/;宿主側還需已注入 tools、webServer、miraMedia、miraDevice。

依賴關係可以概括爲:

muse_vtuber(本插件)──→ mira_device ──→ mira_media
   畫 LIVE2D、右側欄、    攝像頭/麥克風/       TTS/ASR/VAD/憑據
   表情/動作/模型          採集器/自動推幀       (唯一一份阿里雲 key)

核心功能

界面

  • 主位:LIVE2D;說話時口型跟音量;未選模型時 頻譜環 兜底(麥克風頻譜 / TTS 播放器頻譜 / 空閒呼吸波形)。
  • 右側欄(自上而下):視頻、音頻、LIVE2D 表情;視頻與波形數據來自 window.__miraDevice__,形象本身不直接操作硬件。
  • 說話與插話:TTS 由 mira_media(工具 device_say)播放;形象只訂閱 say 做氣泡與口型,避免雙重出聲。語音識別插話在 mira_device 完成。

落盤與配置

配置與狀態寫在 $DSH_HOME/mira_config/muse_vtuber/:

$DSH_HOME/mira_config/muse_vtuber/
  config.json             配置(schemaVersion 1),首次運行自動創建
  state.json              形象實況(可見性/模型/表情/開關/動作)
  model/                  可選本地模型目錄

config.json 修改後下次讀取即熱加載;更換插件宿主代碼需重啓 dsh web(Loader 會緩存已解析模塊)。DashScope 憑據與採集器配置已遷至 mira_media、mira_device,不再落在本目錄。

常用配置項:

鍵 默認 說明
enabled true false 時不註冊工具與路由
live2d.modelsDir "" 留空則依次找 muse_vtuber/model、mira_live2d/model
live2d.model "" 留空則不顯示模型(僅頻譜環);設置頁保存後立即切換
live2d.width / height 420 / 560 畫布初始 CSS 尺寸
legacyNode.enabled false 2.x 外部 stella 節點橋,默認關閉

工具(5 個,4.1.0 起無賬號/權限模型)

工具 作用
vtuber_status 只讀狀態、模型清單、缺失資源,並轉述聲音/輸入插件狀態
vtuber_expression 互斥表情 / 疊加開關
vtuber_motion 播放動作或列清單
vtuber_visible 顯示/隱藏形象主體
vtuber_model 切換模型;clear:true 僅留頻譜環

舊版工具名 vtuber_say、vtuber_camera 等已分別改爲 device_say、device_camera 等,預設裏若仍寫舊名需要一併更新。

HTTP 與事件

同源路由前綴 /vtuber/api/*,例如 GET /vtuber/api/bootstrap、GET /vtuber/api/events(SSE:hello / state)、GET /vtuber/api/health。TTS、ASR、識圖、採集流已拆到 /media/api/*、/device/api/*。

安裝與啓用

DSH 社區目錄 SkillHub 與 GitHub README 均未給出 dsh plugin add github:… 形式的 CLI;安裝方式以目錄頁 「發送給 DeepSeek Harness 安裝」 的自然語言說明爲準。頁面可見文案以如下句子開頭(安裝時請複製目錄頁上的完整段落,避免截斷):

請安裝 DSH 插件 Stella-Mira/muse_vtuber。

README 驗收步驟寫明需 三件套一起裝好:除 muse_vtuber 外,還需 mira_device、mira_media,否則 /vtuber/api/health 裏依賴未就位、側邊欄視頻/音頻與說話鏈路不完整。安裝包名須與 package.json 的 name: muse_vtuber 一致,不要用別名,否則前端 dsh.client 模塊可能無法加載。

插件安裝位置約定爲 PluginDSH/muse_vtuber。

典型用法

手工走通界面(README §11)

  1. 打開會議話界面,確認頁籤順序爲:對話、軌跡、形象。
  2. 進入 形象:主位爲 LIVE2D 或頻譜環;右側爲視頻 / 音頻 / 表情。
  3. 在輸入區點 攝像頭(控件屬於 mira_device):側邊欄視頻有畫面;再關則黑屏。
  4. 開 麥克風 說話:波形動;停頓後出現「聽到:…(已插話)」及會話中的 [感知·語音]。
  5. 用 device_say 或 設置 · 聲音 試聽:形象口型、氣泡與 TTS 同步。
  6. 設置 · 形象 選模型並保存:立即切換;留空則只顯示頻譜環。

智能體調形象

先 vtuber_status 看模型與缺失貼圖;換模型用 vtuber_model;演表情 vtuber_expression、動作 vtuber_motion;需要收起主體時用 vtuber_visible。發聲、開攝像頭、識圖等請調用 mira_media / mira_device 對應工具,而不是已刪除的 vtuber_say 等舊接口。

適用場景與注意

適合:希望在 DSH Web GUI 裏固定一塊 LIVE2D 展示面、又讓會話工具能程序化改表情/模型/顯隱的開發者;可與同作者的 mira_device、mira_media 組成完整 VTuber 式交互。

注意:

  • 插件在 當前 DSH 進程權限 下運行,安裝前請自行閱讀 GitHub 源碼 與 MIT 許可證。
  • SkillHub 爲社區目錄站點,與 DeepSeek / 幻方無官方從屬關係;版本與說明以倉庫 README、package.json 爲準。
  • 從 ≤3.1.0 單體升級時,README §8 列了配置與工具遷移表;遷移只讀舊文件,回滾需停用三件套並啓用舊版 muse_vtuber 3.1.0。
  • mira_device 默認 vision.autoIntervalMs: 0,自動識圖需顯式配置,避免持續消耗額度。

結尾

muse_vtuber 把 DSH 裏的「長什麼樣」從「怎麼聽、怎麼說、怎麼採輸入」裏拆出來:形象頁籤、LIVE2D、五個 vtuber_* 工具與 /vtuber/api 面專注展示與狀態;聲音與設備交給配套插件。若要安裝或跟蹤更新,可看目錄頁 Stella-Mira/muse_vtuber 與倉庫 github.com/Stella-Mira/muse_vtuber。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜