在 DeepSeek Harness (DSH) 的開發實踐中,讓模型具備視覺、聽覺和視頻創作能力,通常需要編寫冗長的 Skill 提示詞或手動維護複雜的腳本。dsh-omni-workstation 插件將這一過程工具化,通過統一的配置入口提供圖像分析、生成、視頻合成及語音處理能力,支持 Any-to-Any 的全模態交互。
這是什麼¶
dsh-omni-workstation 是一個全模態工作站插件,允許模型處理視頻、圖片和語音的輸入與輸出,並支持調用 ComfyUI 圖像生成工具。該插件由 huashenglian 維護,採用 MIT 許可證,屬於模型推理類插件。
核心功能¶
插件提供以下核心能力:
- VLM 圖像分析 (
analyze_image):支持多卡有序故障轉移,內置 28 個提供商。 - 視覺工具包:包含 6 個工具,其中 4 個爲純本地工具,零 token 消耗。
- 圖像生成 (
generate_image):支持 OpenAI、DashScope 和 ComfyUI 協議。 - 多卡異步視頻生成 (
generate_video):支持 7 種協議,提供 AI 工具構建器。 - 語音合成與克隆 (
speak,clone_voice):支持 3 個雲服務商和 4 個本地服務商。
安裝與啓用¶
通過 CLI 命令安裝插件:
dsh plugin --profile web add ./dsh-omni-workstation
dsh plugin --profile web add github:huashenglian/dsh-omni-workstation
dsh plugin --profile web add ./dsh-omni-workstation-0.1.0.tgz
安裝完成後,重啓 dsh web 即可生效。
典型用法¶
- 圖像分析:向 AI 發送圖片(或本地路徑),詢問內容,系統會自動激活
analyze_image工具。 - 構建視頻工具:在聊天中輸入
/build-video-tool,AI 將根據指令自動構建自定義視頻生成工具。 - 配置:進入 Settings -> Omni Workstation 進行配置。
注意事項¶
- 避免手動插入:不要手動在配置文件中添加插入行,否則會導致
duplicate loader entry id: omni-workstation錯誤。 - 卡數限制:視頻生成默認卡數限制爲 10。
- 配置存儲:配置保存在插件安裝目錄內的
omni-vision.json文件中,該文件包含 API 密鑰,請勿提交到版本控制。 - 模塊開關:所有模塊均可獨立開關。關閉模塊後,對應的工具註冊會完全移除,從而實現 0 token 成本。
總結¶
dsh-omni-workstation 通過將多模態能力封裝爲插件,減少了開發者編寫 Skill 或腳本的維護成本。其模塊化設計允許根據需求靈活開啓或關閉功能,適合需要在 DeepSeek Harness 中集成視覺、音頻及視頻處理能力的場景。