dsh-dseyes:給 DeepSeek Harness 的純文本模型提供原生圖片上傳體驗

前言

DSH 的插件化思路允許在宿主層補充交互能力。對 DeepSeek Harness 的純文本模型部署來說,一個常見限制是:用戶希望上傳圖片並讓模型理解內容,但模型本身只處理文本。

dsh-dseyes 解決這個問題:讓圖片以附件形式進入 Web GUI 會話,並在發送給 DeepSeek 前由 host 端調用智譜 GLM 免費視覺模型生成圖片描述,再把描述交給文本模型。

這是什麼

dsh-dseyes 是一個 DSH 插件,由 Okkay712 維護,許可證爲 MIT。

它的基本流程是:

  1. 用戶在 Web GUI 聊天框粘貼或拖入圖片。
  2. 圖片作爲縮略圖附件顯示,聊天曆史中保留原圖。
  3. host 端在調用 DeepSeek 前自動調用智譜 GLM 視覺模型識別圖片。
  4. 圖片內容塊被替換爲文字描述,DeepSeek 基於文字描述回答。

核心功能

圖片附件體驗

  • 支持在 Web GUI 聊天框粘貼或拖入圖片。
  • 圖片以縮略圖附件顯示。
  • 聊天曆史中保留原圖,並可點擊放大。

host 端讀圖

  • 在發送給 DeepSeek 前,host 端自動調用智譜 GLM 免費視覺模型識別圖片內容。
  • 支持自動降級鏈:
glm-4v-flash → glm-4.6v-flash → glm-4.1v-thinking-flash
  • 同一張圖多次出現時,複用讀圖結果。

文本模型基於描述回答

  • 將圖片內容塊替換爲 GLM 生成的文字描述。
  • DeepSeek 基於該描述回答。
  • 會話中仍保留原圖。

Key 配置與自檢

  • 支持 GLM_API_KEY / ZHIPU_API_KEY。
  • 可經進程環境變量或 secrets 文件配置。
  • Windows 兼容註冊表讀取。
  • 提供自檢接口:
GET /dsh-dseyes/diag
  • 讀圖失敗時降級爲說明文字,對話不中斷。

安裝與啓用

前提條件

需要:

Node >= 22

需要智譜 GLM API key。資料稱 glm-4v-flash 免費,註冊即用。

配置 key

可以使用進程環境變量:

GLM_API_KEY=你的key

也可以寫入 secrets 文件:

~/.dsh/secrets/media-tools.env

文件內容:

GLM_API_KEY=你的key

ZHIPU_API_KEY 與 GLM_API_KEY 等價。

安裝插件

執行:

dsh plugin --profile web add dsh-dseyes

安裝後重啓 DSH Web GUI。

典型用法

1、在聊天輸入框粘貼(Ctrl+V)或拖入圖片。

2、輸入問題併發送。

3、查看 DeepSeek 的回答;聊天曆史中保留原圖,可點擊放大。

自檢與排障

本機瀏覽器打開診斷地址:

http://127.0.0.1:<dsh端口>/dsh-dseyes/diag

該接口用於自查 key 與智譜連通性。

若讀圖失敗,對話不會中斷,模型消息中會包含說明文字。

適用場景與注意

適合在 DSH Web GUI 中需要讓文本模型理解圖片內容的場景。

使用前注意:

  • 插件以當前 DSH 進程權限運行;安裝前應檢查源碼與許可證。
  • 許可證爲 MIT。
  • 需要 Node >= 22。
  • 需要智譜 GLM API key;資料稱 glm-4v-flash 免費,註冊即用。
  • GLM API key 只存本機環境變量/secrets 文件,由 host 端持有。
  • 資料稱 key 永不寫入本倉庫、不進入瀏覽器。
  • 圖片只發送給智譜官方 API 用於識別內容:
open.bigmodel.cn
  • 讀圖結果只在模型請求中使用,不上傳任何第三方。
  • 可選 peerDependencies 包括:
@deepseek-ai/cordis
@deepseek-ai/dsh-host-webserver
@deepseek-ai/dsh-llm
@deepseek-ai/dsh-attachment
  • DSH 的插件生態強調“一切皆插件”;社區目錄是獨立站點,不代表與 DeepSeek 或幻方有官方從屬關係。

鏈接

GitHub:

https://github.com/Okkay712/DSH-dseyes

目錄頁線索,未在本機資料中進一步覈實:

https://www.skillhub.cn/plugins/Okkay712/DSH-dseyes
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜