前言¶
DeepSeek Harness（DSH）采用插件化架构，允许通过自然语言请求动态路由至特定能力。医疗影像分析涉及报告生成、病灶定位、分割和分类等多种任务，且不同模态（X光、CT、MRI 等）需要不同的处理工具。dsh-medomni 是 bowang-lab 维护的 DeepSeek Harness 插件，它实现了 MedOmni 策略，为语言模型代理提供了一套模态特定的工具集，使其能根据自然语言请求自动选择合适的推理流程。
插件定位与功能¶
插件名称：dsh-medomni
核心定位：DeepSeek Harness 医疗影像分析插件。
主要能力：
* 报告生成：支持胸部 X 光、CT、MRI 和视网膜影像的候选报告生成，支持当前与既往影像的对比。
* 定位与标注：使用证据框定位疑似 X 光病灶，标注正常解剖结构。
* 分割与遮罩：支持对 X 光、超声、视网膜影像，以及 CT/MRI 的 NIfTI 体积数据生成分割掩码和叠加层；支持 CT/MRI 的固定标签解剖分割。
* 分类：对超声图像进行分类。
* 智能路由：从自然语言请求中解析意图，自动选择报告、分类、定位或分割工具。
* 输入支持：支持通过文件路径输入 2D/3D 影像（3D 支持 NIfTI 和 DICOM 目录），也支持通过“图像启用”的 Provider 路由粘贴 2D 图片。
安装与启用¶
1. 安装插件¶
在已配置好的 DSH 环境中，通过以下命令安装插件。该命令会将插件添加到 profile 的 package.json 并自动挂载 cordis.patch.yml。
dsh plugin --profile web add github:bowang-lab/dsh-medomni
安装完成后，重启 DSH（或 Web 会话）以加载新插件。
2. 准备环境¶
安装完成后，需要初始化插件的共享 Python 环境。执行以下命令：
cd ~/.dsh/profiles/web
./node_modules/.bin/dsh-medomni setup
此步骤会创建 Python 虚拟环境并安装通用依赖。模型检查点和部分额外依赖（如 BiomedParse 的 detectron2）将在首次使用时按需下载。
3. 配置前置条件¶
模型推理在本地运行。插件需要访问 Hugging Face 下载模型检查点。对于受限模型（如 MAIRA-2、BiomedParse、MedGemma），需要在 Hugging Face 接受协议，并设置 HF_TOKEN 环境变量。
建议使用 NVIDIA GPU（CUDA），虽然部分工具支持 CPU 模式，但多 GB 级别的视觉语言和分割模型在 CPU 上效率较低。
使用示例¶
插件安装并初始化后，可以直接通过自然语言与 DSH 交互。例如：
“Generate a radiology report for this chest X-ray:
/path/to/chest_xray.png“
系统会自动识别请求中的模态（胸部 X 光）和意图（生成报告），并调用对应的工具。
处理粘贴的图片¶
如果需要通过剪贴板粘贴图片（2D 医疗影像），必须确保选择的 Provider 路由支持图像输入。
- 在聊天界面的模型选择器（通常在右下角）中，选择标记为
"+ dsh-medomni Vision"的条目。 - 切换到该路由后，再粘贴图片即可。
注意事项¶
- 本地运行：所有模型推理均在配置的本地机器上执行，不涉及云端数据上传。
- 文件系统：输入文件和生成的预览图均读写自本地文件系统，文件保留策略由 DSH 会话控制。
- Hugging Face Token：
HF_TOKEN仅用于访问受限模型，不会由插件存储，而是从进程环境读取。 - 版本要求：插件依赖 Node.js >= 22。
总结¶
dsh-medomni 将复杂的医疗影像分析流程封装为 DSH 插件，通过 Agent 路由机制简化了从文本到具体医疗工具的调用链路。适合需要在本地环境部署、并希望利用 DeepSeek Harness 生态进行多模态任务编排的开发者。
- GitHub 仓库: https://github.com/bowang-lab/dsh-medomni
- 插件目录: https://www.skillhub.cn/plugins/bowang-lab/dsh-medomni
