vision-exp-tile: DSH 大图无损切块与智能识别插件

前言

DeepSeek-v4-flash-vision-exp 模型在处理大图时,官方会将其压缩至 800×800 像素以控制 Token 消耗。这种缩放会导致图片细节丢失,影响识别精度。本插件旨在解决这一问题:通过将大图切分为 800×800 的无损小块,携带坐标标注直连 DeepSeek 视觉 API 进行识别与聚合,确保细节不丢失。

插件定位

  • 名称: vision-exp-tile
  • 作者: Nicholaskin
  • 分类: 模型推理
  • 许可证: MIT

该插件是 DSH(DeepSeek Harness)插件,用于处理模型推理场景下的大图输入问题,支持本地 OCR、批量目录处理及多种模型编排策略。

安装与启用

插件安装需手动挂载至目标 DSH Profile,步骤如下:

  1. 复制/链接插件源码到 DSH 插件目录:
   ~/.dsh/plugins/vision-exp-tile

该目录需包含 cordis.patch.yml、dsh-plugin.json、std-facet.js 及源码文件。

  1. 修改目标 Profile 的 package.json,添加依赖与 Bundle:
   "dependencies": {
     "vision-exp-tile": "link:C:/Users/<你>/.dsh/plugins/vision-exp-tile"
   },
   "dsh": {
     "profile": {
       "bundles": [ ...现有项..., "vision-exp-tile" ]
     }
   }
  1. 在 Profile 目录执行安装并重启 DSH:
   pnpm install
   dsh web

(DSH 0.2.0 自带插件管理器,也可通过界面装载)

核心功能

  • 无损切块: 将大图切割为 800×800 无损小块(边缘块取实际尺寸,不补白不放大),确保细节零损失。
  • 坐标标注: 对切块结果进行坐标标注,并生成全局布局参考图。
  • 直连 API: 携带切块结果与坐标直接调用 DeepSeek 视觉 API 进行识别与聚合。
  • 本地 OCR: 支持本地 OCR 引擎(如 paddle、rapid、Windows 系统 OCR)配合视觉识别使用。
  • 批量处理: 支持对整个目录进行批量识别,具备断点续跑与失败隔离能力。
  • 模型编排: 提供 smart(智能编排)、pipeline(全自动流水线)、full(全网格)三种策略。
  • 设置页优化: v1.0.1 版本将 49 项配置分为 8 个可折叠分组,新增搜索框与组头状态徽标,优化用户体验。

典型用法

插件提供了多个工具接口,可根据场景选择:

1. 单图智能识别

  • vision_tile_split: 仅执行切块、标注与聚合逻辑。
  • vision_tile_recognize: 执行智能识图,包含整图预检、兴趣点识别与结果汇总。
{
  "file_path": "D:\\img\\大图.png",
  "strategy": "smart",
  "question": "这张图里有什么内容?请完整描述"
}

2. 区域裁剪识别

  • vision_region_crop: 针对兴趣点或文字区域进行按比例裁剪识别(最长边 800)。
{
  "file_path": "D:\\img\\截图.png",
  "rect": [x0, y0, x1, y1],
  "max_edge": 800,
  "recognize": true
}

3. 批量目录识别

  • vision_batch_recognize: 逐张识别目录下图片,支持断点续跑与报告生成。
{
  "input_dir": "D:\\DSH-Files-v2\\00-收件箱\\图像识别输入",
  "limit": 5,
  "strategy": "pipeline",
  "resume": true
}

注意事项

  • 零依赖: 插件不依赖任何第三方 DSH 插件(如 picturereader 等),仅使用官方 DSH 服务与可选开源 OCR 环境。
  • 计费说明: 插件不代为统计 Token 与费用,实际计费以 DeepSeek 官方 API 平台账单为准。
  • 兼容性: v1.0.1 设置页改版,支持任意 OpenAI 兼容视觉端点与本地视觉模型。
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜