DeepSeek Harness 插件:dsh-vision-plugin

前言

DeepSeek Harness(DSH)通過插件機制擴展功能。在多模態對話場景中,用戶常需上傳圖片並人工描述其內容,這增加了操作成本且描述可能不精確。dsh-vision-plugin 解決了這個問題,通過在發送消息前自動轉述圖片內容並注入描述,降低了多模態交互的門檻。

插件介紹

該插件由開發者 zcma11 維護,屬於模型推理類別。其核心邏輯是:用戶在聊天框上傳或粘貼圖片,發送時通過視覺模型(DashScope)或 Windows 離線 OCR 轉述圖片內容,並將描述自動插入到消息開頭。

安裝與啓用

使用 DSH 官方提供的插件管理命令進行安裝:

npx @deepseek-ai/dsh plugin --profile web add dsh-vision-plugin

注意事項:如果在使用 pnpm 9 時遇到 ERR_PNPM_ADDING_TO_ROOT 錯誤,需要在命令末尾追加 --workspace-root 參數。

使用方法

上傳與粘貼圖片

在聊天輸入框的工具欄中,點擊對應圖標選擇圖片,或直接使用 Ctrl+V 粘貼。支持的格式包括截圖(如 QQ 截圖、系統截圖),BMP 圖片會自動轉換爲 PNG。

配置視覺模型

由於純 OCR 模式不依賴外部模型,僅視覺轉述模式需要配置。請進入 設置 -> 通用 -> 視覺轉述模型,從下拉框中選擇支持圖片輸入的模型(例如 dashscope/qwen3.6-plus),並確保已配置 DASHSCOPE_API_KEY。

發送與轉述

  1. 選擇模式:
    - 點擊 📝(純 OCR) 按鈕:僅調用 Windows 內置 OCR 引擎,離線運行。
    - 點擊 🖼️(視覺轉述) 按鈕 或 粘貼圖片:僅調用視覺模型進行轉述。

  2. 發送過程:
    - 轉述期間,輸入框上方預覽條會顯示“⏳ 正在解析圖片…”,此時會攔截新的發送請求。
    - 轉述成功後,消息內容會自動以 【解析了提供圖片,圖片內容是<描述>】 開頭,後接你的原文,預覽條隨後自動清除。
    - 轉述失敗時,消息不會發送,頂部會彈出紅色提示,明確區分是“視覺模型調用失敗”還是“OCR 識別失敗”。

適用場景與注意事項

  • 適用場景:適合需要在 DSH 中進行多模態對話的開發者或用戶。
  • 系統依賴:純 OCR 功能依賴 Windows 10+ 及 PowerShell 5.1,且插件在 Windows 環境下驗證。
  • 安全與存儲:圖片僅以 base64 格式存儲在內存中,不落盤,符合安全隔離要求。
  • 模式路由:插件採用嚴格路由策略,OCR 按鈕僅 OCR,視覺按鈕/粘貼僅視覺模型,不做自動降級處理。

結語

dsh-vision-plugin 通過自動化圖片解析與描述注入,簡化了多模態交互流程。更多細節與源碼可訪問 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜