meow-vision:给文本模型补一双眼睛,给多模态模型补一对“看 UI 渲染”的眼睛

在 DeepSeek Harness(DSH)的开发中,纯文本模型无法直接读取图片,而多模态模型在调试 UI 组件时,往往只能依赖文档描述。meow-vision 是一个 DSH 插件,旨在解决这两个问题:它为不能直接看图的文本模型提供视觉能力,并为多模态模型提供真实的 UI 渲染截图能力。

安装

通过 DSH 官方插件管理器安装(仅支持 web profile):

dsh 插件 --profile web add meow-vision

安装完成后,重启 dsh。在设置弹窗会出现 meow-vision 配置 tab,模型工具列表中也会出现 meow_vision 和 meow_preview 两个工具。

核心功能

meow-vision 包含两个主要工具:meow_vision 和 meow_preview。

meow_vision:给纯文本模型补一双眼睛

当当前模型无法直接处理图片(非多模态会话)时,调用此工具。它使用配置好的视觉模型识别图片并返回文字描述。

  1. 配置
    打开 dsh 设置 → meow-vision tab → 视觉模型 区块。
    从候选列表中选择一个多模态模型(候选列表自动过滤 inputModalities 含 image 的模型)。
    配置会写入插件根目录的 vision.json。

  2. 用法
    模型会自动调用:

    meow_vision(image_path="/path/to/screenshot.png", question="这个报错的堆栈含义是什么?")
模型收到图片的文字描述后继续推理。
*注意:如果主模型本身就是多模态,`meow_vision` 会提示模型改用 `read_image` 直接看图。*

meow_preview:给多模态模型补“看见 UI 渲染”的眼睛

让多模态模型自己“截图看一眼”组件的真实渲染效果(样式/边距/布局),方便迭代 UI 组件写法。

  1. 配置
    在 meow-vision tab → 预览配置 区块填写:

    • libName:团队 UI 库的 npm 包名(用于定位 dev server)
    • port:dev server 端口(默认 4173)
    • .preview 目录:Vue demo 工作目录绝对路径
  2. 用法(推荐写法:demos/<名字>)
    在 .preview/src/demos/ 写一个最小 Vue demo(只渲染一个组件,显式设置 props/slots;库组件已全局注册,直接写 <组件名>):

    <!-- .preview/src/demos/button-basic.vue -->
    <template>
      <Button size="small" disabled>禁用小号按钮</Button>
    </template>
然后让模型调用:
    meow_preview(target="demos/button-basic")
返回的是截图图片,自动喂给当前多模态模型的视觉通道。
  1. Target 格式

    • demos/button-basic:预览 .preview/src/demos/button-basic.vue(推荐)
    • https://example.com/page:截图任意公网 URL
    • file:///path/to/index.html:截图本地静态 HTML
  2. 强制规则

    • 禁止整页布局、禁止多组件同框、禁止业务数据/路由/状态管理/外部接口请求。
    • 这是研究单个组件行为的简单预览。
    • 截图保存在 .preview/shots/<name>.png。

运行时行为与权限

插件在安装后会执行以下操作,无需手动配置。

会做的事情:
* 写文件
* <插件根>/vision.json:保存视觉模型配置 { provider, model }
* <你配置的 .preview 目录>/shots/*.png:meow_preview 生成的截图
* <你配置的 .preview 目录>/src/demos/<name>.vue:模型生成的 Vue demo
* 启动 dev server:仅当 meow_preview 首次调用时拉起配置的 Vue 组件库 dev server(默认 localhost:4173)
* 注册 Web 路由:/api/meow-vision/config (读写)、/api/meow-vision/candidates (读)
* 注册工具与提示词:向 DSH 注入 meow_vision / meow_preview 工具及 systemPrompt hints

不会做的事情:
* 不读聊天记录、会话历史、其他附件或插件配置。
* 不调用 DSH 之外的第三方 API,视觉模型完全复用 DSH 已配置的 provider/model。
* 不修改 DSH 源码。
* vision.json 不含 API keys。
* 无 telemetry、analytics 或远程上报。

兼容性

项目 要求
DSH profile 仅 web(依赖 webServer 服务 + settings tab 注入)
Node 版本 Node 18+
运行平台 ESM only ("type": "module")
Cordis 版本 @deepseek-ai/cordis ^0.1.0
视觉模型 DSH 已配置的多模态模型中任选一个
meow_preview dev server 需支持 demos/<name>.vue 路由(默认端口 4173)

参考链接

  • GitHub: https://github.com/meimiaoji-creator/meow-vision
  • 插件目录: https://www.skillhub.cn/plugins/meimiaoji-creator/meow-vision
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜