前言¶
DeepSeek 每张图像最多记录 384 个视觉令牌。当处理高分辨率图像或密集文档(如收据、表格、图表或长截图)时,这个预算往往不足以保留所有细节,导致小字或边缘信息丢失。DSH Vision Tiler 插件通过图像分块技术,为每个局部区域分配独立的图像预算,同时保留对源图像的完整、可审计的覆盖视图。
这是什么¶
这是 DeepSeek Harness (DSH) 插件生态中的一个视觉模型辅助工具,由维护者 zyh20041227 开发。它将一张高分辨率图像拆解为全局概览、重叠覆盖块以及可选的密集区域详情裁剪,供 DSH 模型读取。该插件使用纯 JavaScript 和内置 WebAssembly,避免了原生图像构建库的依赖冲突。
安装与启用¶
使用 DSH 的命令行工具安装该插件。由于 npm 注册表版本尚未发布,需使用固定的 GitHub 版本标签。
- 确保已安装 DeepSeek Harness 和支持图像的模型配置文件。
- 确保系统安装了 Node.js 22 或更高版本。
- 执行安装命令:
dsh plugin --profile web add github:zyh20041227/improved_vision_for_deepseek#v0.2.3
安装完成后,可通过 dsh --profile web --dump-config 验证插件是否加载成功。
核心功能¶
- 100% 几何覆盖:覆盖块经过审计,确保覆盖源图像的每一个像素。
- 重叠接缝:跨越分块边界的文字和形状会在相邻块中保持可见,避免内容被切断。
- 内容感知切割:在文档模式下,算法会将接缝移动到低墨迹区域。
- 密集区域审查:可选生成 512×512 的详情裁剪图,用于补充基础覆盖。
- 有界批次:将大量分块按模型安全阈值分批返回。
- 可追踪输出:每个分块携带源坐标、角色、批次状态和保守令牌上限。
- 解码支持:支持 PNG/JPEG/BMP/GIF/TIFF 解码,使用内置 WASM 解码 WebP,并支持 EXIF 方向修正。
典型用法¶
DSH 插件注册了一个名为 segment_image 的工具。开发者需要在提示词中指示模型调用该工具,并在模型返回分块后,继续处理剩余的分块批次。
调用示例:
Call segment_image for D:\images\document.png with mode=document and batch_index=0.
If remaining_batch_indices is not empty, read every remaining batch before answering.
Report uncertain_regions and cite the tile IDs used.
工具参数说明:
| 参数 | 含义 |
|---|---|
path |
绝对路径,或相对于 DSH 进程目录的路径 |
mode |
模式,可选 auto、document、diagram 或 photo |
strategy |
策略,默认 adaptive,也可选 uniform |
batch_index |
零基输出的批次索引 |
适用场景与注意¶
适用场景:处理密集文字、表格、小字图表或高分辨率文档。基准测试显示,在特定测试中,使用该插件后模型的精确代码识别率(F1)从 19.68% 提升至 96.44%。
注意事项:
* 无原生构建:v0.2.3 版本使用纯 JS 和 WebAssembly,无需配置 allow-build。
* 令牌限制:DeepSeek 的 384 令牌限制是硬性约束,插件通过分块缓解而非消除该限制。
* 语义识别:插件保证几何覆盖,不能保证模型能语义识别每一个可见字符(如模糊、压缩伪影或特殊字体)。
* 版本锁定:目前使用固定 GitHub 版本,不依赖 npm 注册表。
* 系统要求:需要 Node.js 22+ 环境。
短结尾¶
DSH Vision Tiler 插件通过几何覆盖和重叠接缝机制,解决了 DeepSeek 视觉模型在处理高密度图像时的令牌预算不足问题。它通过可追踪的输出和有界批次,为开发者提供了可控的图像处理流水线。更多技术细节和基准数据可查阅其 GitHub 仓库及技术报告。