dsh-vision-tool:爲文本模型添加 Kimi 視覺能力的 DeepSeek Harness 插件

前言

DeepSeek Harness (DSH) 的插件化架構允許爲文本模型添加視覺能力。dsh-vision-tool 是一個插件,它爲僅限文本的模型提供視覺路由。它通過自動重寫粘貼的圖片爲內容尋址附件引用並調用 Kimi 視覺模型來實現這一點。

核心功能

該插件通過兩個主要組件協調工作:

  1. vision-prompt:攔截 POST /api/session.prompt。當活躍會話模型不支持圖片輸入時,粘貼的圖片會被持久化爲內容尋址附件,並在文本提示中被重寫爲完整的附件引用 JSON。其他請求(無圖片或模型已支持圖片)會被原樣轉發,並重新實現了官方 /api 信任護欄(DNS 重綁定 / 跨站防禦)。
  2. vision-tool:註冊全局 analyze_image 工具。模型調用此工具時,傳入附件引用(或本地文件路徑),工具將圖像路由至 Kimi 視覺模型並返回文本描述。

安裝與啓用

使用以下命令安裝插件(需要指定 SHA 以鎖定版本):

dsh plugin --profile <name> add github:<you>/dsh-vision-tool#<sha>

安裝後,重啓 profile 使配置生效:

dsh --profile <name>

確認插件層已加載(查看配置輸出中是否包含 # == dsh-vision-tool):

dsh --profile <name> --dump-config

典型用法

  1. 粘貼圖片:在聊天框中粘貼圖片。
  2. 自動重寫:vision-prompt 會將圖片持久化到 Harness 附件存儲,並重寫提示以包含附件引用。
  3. 模型調用:模型調用註冊的 analyze_image 工具,傳入附件引用或本地文件路徑。
  4. 配置模型:通過配置 cordis.patch.yml 切換視覺模型(baseURL, model, apiKeyEnv)。

配置與依賴

必要依賴:
* dsh CLI
* KIMI_CODE_API_KEY(從 $DSH_HOME/.credentials.yaml 或環境變量讀取)
* 依賴包:@deepseek-ai/dsh-tools, @deepseek-ai/dsh-credentials, @deepseek-ai/dsh-host-apiproxy

配置示例(在 cordis.patch.yml 中):

- id: vision-tool
  name: dsh-vision-tool
  config:
    baseURL: https://api.kimi.com/coding/v1
    model: kimi-for-coding
    apiKeyEnv: KIMI_CODE_API_KEY
    maxImageBytes: 20971520
    timeoutMs: 120000

注意:kimi-for-coding 僅接受 temperature: 1(其他值會返回 HTTP 400),該插件默認硬編碼了該值且不可配置。

注意事項

  • 安全與存儲:請求體上限爲 160MB。插件不存儲提示或圖片內容,僅使用 Harness 的附件存儲。任何失敗均降級爲直通(passthrough)。
  • 日誌:操作日誌寫入 $DSH_HOME/vision-trace.log。
  • 格式支持:支持 png, jpg, jpeg, webp, gif。

總結

dsh-vision-tool 通過重寫提示和註冊全局工具,爲 DSH 中的文本模型提供了調用 Kimi 視覺模型的能力。安裝前請檢查源碼與許可證(MIT)。

插件目錄
GitHub 倉庫

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜