前言¶
DeepSeek Harness(DSH)採用插件化架構擴展功能。在構建智能體時,開發者常需處理圖像生成、視頻製作、語音合成以及視覺理解等任務,這通常涉及複雜的腳本或外部服務。@mokuyoaxis/dsh-iris 插件通過集成 Iris 工作臺和多供應商模型路由,爲 DSH 提供了一套完整的媒體生產與視覺理解運行時,將任務管理集中在工作臺中。
簡介¶
這是一個由 mokuyoaxis 維護的多模態生產運行時。它爲 Agent 和 Iris 工作臺提供圖像、視頻、語音與視覺理解能力,並能直接優化 DSH 對話框中的提示詞。插件通過瀏覽器客戶端接入設置頁、會話輸入區與全局懸浮層,使用戶無需脫離 DSH 環境即可完成從內容生成到視覺分析的完整鏈路。
安裝與依賴¶
在安裝前,請確認環境滿足以下要求:
- Node.js >= 22.0.0
- DeepSeek Harness 版本 0.2.0-rc.2(舊版宿主需安裝 @0.1.4)
- 視頻處理需要系統安裝 ffmpeg 和 ffprobe
使用以下命令安裝插件到 Web profile:
dsh plugin --profile web add @mokuyoaxis/dsh-iris@0.2.0
dsh web
安裝體積約爲 27MB(包含 sharp 二進制)。插件在宿主側運行,供應商密鑰保存在宿主側的 Iris 配置中。
核心功能¶
該插件提供的能力覆蓋了從內容生成到視覺分析的完整鏈路:
- 媒體生成:圖像生成、文生視頻、圖生視頻、S2V 數字人視頻、文本轉語音。
- 視覺理解:看圖問答、長圖 OCR、目標定位、裁剪、像素差異分析。
- 視頻處理:視頻抽幀、多模態內容摘要。
- 任務與工作流:異步任務跟蹤、重啓恢復、媒體播放、獨立作品庫、提示詞優化。
- 輸入與輸出:瀏覽器上傳、會話附件、宿主路徑、多供應商模型池。
典型用法¶
在 DSH 對話或 Iris 工作臺中,可以使用以下指令:
- 圖像生成:使用
iris_draw_image:畫一隻坐在藍色窗邊的白貓。 - 視覺總結:總結我剛上傳的這張圖片。
- 視頻處理:用 Iris 總結
/absolute/path/demo.mp4,再把摘要合成爲語音。
注意事項¶
- 版本兼容性:Iris 0.2.0 僅支持 DSH 0.2.0-rc.2。舊版 DSH 需安裝
@0.1.4。npm 上無 scope 的dsh-iris屬於另一款插件,安裝 Iris 時必須保留完整包名@mokuyoaxis/dsh-iris。 - 權限:插件以宿主進程權限運行,安裝前建議檢查源碼與許可證。
- 平臺:安裝體積提示圖像處理依賴
sharp,在部分 ARM proot 環境可能需要運行dsh-iris doctor診斷。
總結¶
Iris 爲 DeepSeek Harness 提供了媒體生產與視覺理解的核心能力,通過統一的工作臺和工具路由,降低了 Agent 開發中多模態任務的實現門檻。