meow-vision:給文本模型補一雙眼睛,給多模態模型補一對“看 UI 渲染”的眼睛

在 DeepSeek Harness(DSH)的開發中,純文本模型無法直接讀取圖片,而多模態模型在調試 UI 組件時,往往只能依賴文檔描述。meow-vision 是一個 DSH 插件,旨在解決這兩個問題:它爲不能直接看圖的文本模型提供視覺能力,併爲多模態模型提供真實的 UI 渲染截圖能力。

安裝

通過 DSH 官方插件管理器安裝(僅支持 web profile):

dsh 插件 --profile web add meow-vision

安裝完成後,重啓 dsh。在設置彈窗會出現 meow-vision 配置 tab,模型工具列表中也會出現 meow_vision 和 meow_preview 兩個工具。

核心功能

meow-vision 包含兩個主要工具:meow_vision 和 meow_preview。

meow_vision:給純文本模型補一雙眼睛

噹噹前模型無法直接處理圖片(非多模態會話)時,調用此工具。它使用配置好的視覺模型識別圖片並返回文字描述。

  1. 配置
    打開 dsh 設置 → meow-vision tab → 視覺模型 區塊。
    從候選列表中選擇一個多模態模型(候選列表自動過濾 inputModalities 含 image 的模型)。
    配置會寫入插件根目錄的 vision.json。

  2. 用法
    模型會自動調用:

    meow_vision(image_path="/path/to/screenshot.png", question="這個報錯的堆棧含義是什麼?")
模型收到圖片的文字描述後繼續推理。
*注意:如果主模型本身就是多模態,`meow_vision` 會提示模型改用 `read_image` 直接看圖。*

meow_preview:給多模態模型補“看見 UI 渲染”的眼睛

讓多模態模型自己“截圖看一眼”組件的真實渲染效果(樣式/邊距/佈局),方便迭代 UI 組件寫法。

  1. 配置
    在 meow-vision tab → 預覽配置 區塊填寫:

    • libName:團隊 UI 庫的 npm 包名(用於定位 dev server)
    • port:dev server 端口(默認 4173)
    • .preview 目錄:Vue demo 工作目錄絕對路徑
  2. 用法(推薦寫法:demos/<名字>)
    在 .preview/src/demos/ 寫一個最小 Vue demo(只渲染一個組件,顯式設置 props/slots;庫組件已全局註冊,直接寫 <組件名>):

    <!-- .preview/src/demos/button-basic.vue -->
    <template>
      <Button size="small" disabled>禁用小號按鈕</Button>
    </template>
然後讓模型調用:
    meow_preview(target="demos/button-basic")
返回的是截圖圖片,自動餵給當前多模態模型的視覺通道。
  1. Target 格式

    • demos/button-basic:預覽 .preview/src/demos/button-basic.vue(推薦)
    • https://example.com/page:截圖任意公網 URL
    • file:///path/to/index.html:截圖本地靜態 HTML
  2. 強制規則

    • 禁止整頁佈局、禁止多組件同框、禁止業務數據/路由/狀態管理/外部接口請求。
    • 這是研究單個組件行爲的簡單預覽。
    • 截圖保存在 .preview/shots/<name>.png。

運行時行爲與權限

插件在安裝後會執行以下操作,無需手動配置。

會做的事情:
* 寫文件
* <插件根>/vision.json:保存視覺模型配置 { provider, model }
* <你配置的 .preview 目錄>/shots/*.png:meow_preview 生成的截圖
* <你配置的 .preview 目錄>/src/demos/<name>.vue:模型生成的 Vue demo
* 啓動 dev server:僅當 meow_preview 首次調用時拉起配置的 Vue 組件庫 dev server(默認 localhost:4173)
* 註冊 Web 路由:/api/meow-vision/config (讀寫)、/api/meow-vision/candidates (讀)
* 註冊工具與提示詞:向 DSH 注入 meow_vision / meow_preview 工具及 systemPrompt hints

不會做的事情:
* 不讀聊天記錄、會話歷史、其他附件或插件配置。
* 不調用 DSH 之外的第三方 API,視覺模型完全複用 DSH 已配置的 provider/model。
* 不修改 DSH 源碼。
* vision.json 不含 API keys。
* 無 telemetry、analytics 或遠程上報。

兼容性

項目 要求
DSH profile 僅 web(依賴 webServer 服務 + settings tab 注入)
Node 版本 Node 18+
運行平臺 ESM only ("type": "module")
Cordis 版本 @deepseek-ai/cordis ^0.1.0
視覺模型 DSH 已配置的多模態模型中任選一個
meow_preview dev server 需支持 demos/<name>.vue 路由(默認端口 4173)

參考鏈接

  • GitHub: https://github.com/meimiaoji-creator/meow-vision
  • 插件目錄: https://www.skillhub.cn/plugins/meimiaoji-creator/meow-vision
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜