DSH Vision Tiler:DeepSeek Harness 视觉模型的全覆盖图像分块插件

前言

DeepSeek 每张图像最多记录 384 个视觉令牌。当处理高分辨率图像或密集文档(如收据、表格、图表或长截图)时,这个预算往往不足以保留所有细节,导致小字或边缘信息丢失。DSH Vision Tiler 插件通过图像分块技术,为每个局部区域分配独立的图像预算,同时保留对源图像的完整、可审计的覆盖视图。

这是什么

这是 DeepSeek Harness (DSH) 插件生态中的一个视觉模型辅助工具,由维护者 zyh20041227 开发。它将一张高分辨率图像拆解为全局概览、重叠覆盖块以及可选的密集区域详情裁剪,供 DSH 模型读取。该插件使用纯 JavaScript 和内置 WebAssembly,避免了原生图像构建库的依赖冲突。

安装与启用

使用 DSH 的命令行工具安装该插件。由于 npm 注册表版本尚未发布,需使用固定的 GitHub 版本标签。

  1. 确保已安装 DeepSeek Harness 和支持图像的模型配置文件。
  2. 确保系统安装了 Node.js 22 或更高版本。
  3. 执行安装命令:
dsh plugin --profile web add github:zyh20041227/improved_vision_for_deepseek#v0.2.3

安装完成后,可通过 dsh --profile web --dump-config 验证插件是否加载成功。

核心功能

  • 100% 几何覆盖:覆盖块经过审计,确保覆盖源图像的每一个像素。
  • 重叠接缝:跨越分块边界的文字和形状会在相邻块中保持可见,避免内容被切断。
  • 内容感知切割:在文档模式下,算法会将接缝移动到低墨迹区域。
  • 密集区域审查:可选生成 512×512 的详情裁剪图,用于补充基础覆盖。
  • 有界批次:将大量分块按模型安全阈值分批返回。
  • 可追踪输出:每个分块携带源坐标、角色、批次状态和保守令牌上限。
  • 解码支持:支持 PNG/JPEG/BMP/GIF/TIFF 解码,使用内置 WASM 解码 WebP,并支持 EXIF 方向修正。

典型用法

DSH 插件注册了一个名为 segment_image 的工具。开发者需要在提示词中指示模型调用该工具,并在模型返回分块后,继续处理剩余的分块批次。

调用示例:

Call segment_image for D:\images\document.png with mode=document and batch_index=0.
If remaining_batch_indices is not empty, read every remaining batch before answering.
Report uncertain_regions and cite the tile IDs used.

工具参数说明:

参数 含义
path 绝对路径,或相对于 DSH 进程目录的路径
mode 模式,可选 auto、document、diagram 或 photo
strategy 策略,默认 adaptive,也可选 uniform
batch_index 零基输出的批次索引

适用场景与注意

适用场景:处理密集文字、表格、小字图表或高分辨率文档。基准测试显示,在特定测试中,使用该插件后模型的精确代码识别率(F1)从 19.68% 提升至 96.44%。

注意事项:
* 无原生构建:v0.2.3 版本使用纯 JS 和 WebAssembly,无需配置 allow-build。
* 令牌限制:DeepSeek 的 384 令牌限制是硬性约束,插件通过分块缓解而非消除该限制。
* 语义识别:插件保证几何覆盖,不能保证模型能语义识别每一个可见字符(如模糊、压缩伪影或特殊字体)。
* 版本锁定:目前使用固定 GitHub 版本,不依赖 npm 注册表。
* 系统要求:需要 Node.js 22+ 环境。

短结尾

DSH Vision Tiler 插件通过几何覆盖和重叠接缝机制,解决了 DeepSeek 视觉模型在处理高密度图像时的令牌预算不足问题。它通过可追踪的输出和有界批次,为开发者提供了可控的图像处理流水线。更多技术细节和基准数据可查阅其 GitHub 仓库及技术报告。

链接:
* GitHub 仓库
* 插件目录页

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜