dsh-omni-workstation:DeepSeek Harness 全模態工作臺插件

在 DeepSeek Harness (DSH) 的開發實踐中,讓模型具備視覺、聽覺和視頻創作能力,通常需要編寫冗長的 Skill 提示詞或手動維護複雜的腳本。dsh-omni-workstation 插件將這一過程工具化,通過統一的配置入口提供圖像分析、生成、視頻合成及語音處理能力,支持 Any-to-Any 的全模態交互。

這是什麼

dsh-omni-workstation 是一個全模態工作站插件,允許模型處理視頻、圖片和語音的輸入與輸出,並支持調用 ComfyUI 圖像生成工具。該插件由 huashenglian 維護,採用 MIT 許可證,屬於模型推理類插件。

核心功能

插件提供以下核心能力:

  • VLM 圖像分析 (analyze_image):支持多卡有序故障轉移,內置 28 個提供商。
  • 視覺工具包:包含 6 個工具,其中 4 個爲純本地工具,零 token 消耗。
  • 圖像生成 (generate_image):支持 OpenAI、DashScope 和 ComfyUI 協議。
  • 多卡異步視頻生成 (generate_video):支持 7 種協議,提供 AI 工具構建器。
  • 語音合成與克隆 (speak, clone_voice):支持 3 個雲服務商和 4 個本地服務商。

安裝與啓用

通過 CLI 命令安裝插件:

dsh plugin --profile web add ./dsh-omni-workstation
dsh plugin --profile web add github:huashenglian/dsh-omni-workstation
dsh plugin --profile web add ./dsh-omni-workstation-0.1.0.tgz

安裝完成後,重啓 dsh web 即可生效。

典型用法

  • 圖像分析:向 AI 發送圖片(或本地路徑),詢問內容,系統會自動激活 analyze_image 工具。
  • 構建視頻工具:在聊天中輸入 /build-video-tool,AI 將根據指令自動構建自定義視頻生成工具。
  • 配置:進入 Settings -> Omni Workstation 進行配置。

注意事項

  • 避免手動插入:不要手動在配置文件中添加插入行,否則會導致 duplicate loader entry id: omni-workstation 錯誤。
  • 卡數限制:視頻生成默認卡數限制爲 10。
  • 配置存儲:配置保存在插件安裝目錄內的 omni-vision.json 文件中,該文件包含 API 密鑰,請勿提交到版本控制。
  • 模塊開關:所有模塊均可獨立開關。關閉模塊後,對應的工具註冊會完全移除,從而實現 0 token 成本。

總結

dsh-omni-workstation 通過將多模態能力封裝爲插件,減少了開發者編寫 Skill 或腳本的維護成本。其模塊化設計允許根據需求靈活開啓或關閉功能,適合需要在 DeepSeek Harness 中集成視覺、音頻及視頻處理能力的場景。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜