前言¶
DeepSeek Harness（DSH）採用插件化架構，允許通過自然語言請求動態路由至特定能力。醫療影像分析涉及報告生成、病竈定位、分割和分類等多種任務，且不同模態（X光、CT、MRI 等）需要不同的處理工具。dsh-medomni 是 bowang-lab 維護的 DeepSeek Harness 插件，它實現了 MedOmni 策略，爲語言模型代理提供了一套模態特定的工具集，使其能根據自然語言請求自動選擇合適的推理流程。
插件定位與功能¶
插件名稱：dsh-medomni
核心定位：DeepSeek Harness 醫療影像分析插件。
主要能力：
* 報告生成：支持胸部 X 光、CT、MRI 和視網膜影像的候選報告生成，支持當前與既往影像的對比。
* 定位與標註：使用證據框定位疑似 X 光病竈，標註正常解剖結構。
* 分割與遮罩：支持對 X 光、超聲、視網膜影像，以及 CT/MRI 的 NIfTI 體積數據生成分割掩碼和疊加層；支持 CT/MRI 的固定標籤解剖分割。
* 分類：對超聲圖像進行分類。
* 智能路由：從自然語言請求中解析意圖，自動選擇報告、分類、定位或分割工具。
* 輸入支持：支持通過文件路徑輸入 2D/3D 影像（3D 支持 NIfTI 和 DICOM 目錄），也支持通過“圖像啓用”的 Provider 路由粘貼 2D 圖片。
安裝與啓用¶
1. 安裝插件¶
在已配置好的 DSH 環境中，通過以下命令安裝插件。該命令會將插件添加到 profile 的 package.json 並自動掛載 cordis.patch.yml。
dsh plugin --profile web add github:bowang-lab/dsh-medomni
安裝完成後，重啓 DSH（或 Web 會話）以加載新插件。
2. 準備環境¶
安裝完成後，需要初始化插件的共享 Python 環境。執行以下命令：
cd ~/.dsh/profiles/web
./node_modules/.bin/dsh-medomni setup
此步驟會創建 Python 虛擬環境並安裝通用依賴。模型檢查點和部分額外依賴（如 BiomedParse 的 detectron2）將在首次使用時按需下載。
3. 配置前置條件¶
模型推理在本地運行。插件需要訪問 Hugging Face 下載模型檢查點。對於受限模型（如 MAIRA-2、BiomedParse、MedGemma），需要在 Hugging Face 接受協議，並設置 HF_TOKEN 環境變量。
建議使用 NVIDIA GPU（CUDA），雖然部分工具支持 CPU 模式，但多 GB 級別的視覺語言和分割模型在 CPU 上效率較低。
使用示例¶
插件安裝並初始化後，可以直接通過自然語言與 DSH 交互。例如：
“Generate a radiology report for this chest X-ray:
/path/to/chest_xray.png“
系統會自動識別請求中的模態（胸部 X 光）和意圖（生成報告），並調用對應的工具。
處理粘貼的圖片¶
如果需要通過剪貼板粘貼圖片（2D 醫療影像），必須確保選擇的 Provider 路由支持圖像輸入。
- 在聊天界面的模型選擇器（通常在右下角）中，選擇標記爲
"+ dsh-medomni Vision"的條目。 - 切換到該路由後，再粘貼圖片即可。
注意事項¶
- 本地運行：所有模型推理均在配置的本地機器上執行，不涉及雲端數據上傳。
- 文件系統：輸入文件和生成的預覽圖均讀寫自本地文件系統，文件保留策略由 DSH 會話控制。
- Hugging Face Token：
HF_TOKEN僅用於訪問受限模型，不會由插件存儲，而是從進程環境讀取。 - 版本要求：插件依賴 Node.js >= 22。
總結¶
dsh-medomni 將複雜的醫療影像分析流程封裝爲 DSH 插件，通過 Agent 路由機制簡化了從文本到具體醫療工具的調用鏈路。適合需要在本地環境部署、並希望利用 DeepSeek Harness 生態進行多模態任務編排的開發者。
- GitHub 倉庫: https://github.com/bowang-lab/dsh-medomni
- 插件目錄: https://www.skillhub.cn/plugins/bowang-lab/dsh-medomni
