dsh-comfyui-image:在本地运行 ComfyUI 生成多模态资产

前言

DeepSeek Harness(DSH)通过插件机制扩展功能。本地部署模型推理工具是智能体开发中的常见需求。如果希望利用本地 GPU 资源生成图片、视频、音频和 3D 资产,而无需调用云端 API 或承担按次计费成本,dsh-comfyui-image 插件提供了直接的连接方案。它允许 Harness 直接操控本地安装的 ComfyUI。

插件简介

dsh-comfyui-image 是一个 DeepSeek Harness 插件,由用户 QXingYShu 维护。其核心价值在于:通过本地 ComfyUI 实例处理图像、视频、音频和 3D 资产的生成,无需 API 密钥,无需依赖云端服务,且无单次生成的计费成本。该插件遵循 MIT 许可证。

核心功能

插件注册了以下工具和能力:

  • comfyui_generate:用于文本生成图片,接收提示词并输出参数。
  • comfyui_templates:浏览本地模板目录,检查模板输入,或询问模型推荐。
  • comfyui_run_template:运行特定的模板并保存输出。
  • comfyui_status:报告已安装组件和运行状态,用于排查生成失败原因。
  • comfyui-image 技能:提供模型选择、提示词构建、采样器调整和负向提示词支持,让智能体能主动决策。

在生态层面,插件支持 67 个开源模型家族的 116+ 工作流模板,覆盖图像编辑、视频生成、ControlNet、深度估计、背景移除、放大、3D、音乐和音频处理。

安装与启用

安装该插件需要 DeepSeek Harness 0.2.0-rc.2 或更新版本。

dsh plugin --profile desktop add https://github.com/<you>/dsh-comfyui-image.git

安装后必须重启 Harness。插件会在配置的 profile 启动时加载,因此对 lib/ 目录的修改或插件代码更新不会在运行中生效。只有 Web GUI 的客户端插件支持热重载,而本插件的工具和技能均为服务器端运行。

配置与发现

插件会自动探测 ComfyUI 的运行状态。它会依次检查配置端口和 8188–8192 端口,确认 /system_stats 接口是否响应。如果没有运行的服务器,它会自动启动 ComfyUI 的无头模式。

若需手动指定路径,可设置环境变量 DSH_COMFYUI_PATH 指向本地的 ComfyUI 检出目录。

主要的环境变量配置项如下:

  • 端口控制:
    • DSH_COMFY_PORT:强制所有工作流使用同一端口(默认为探测 8188–8192)。
    • DSH_COMFY_PORT_Z_IMAGE_TURBO / DSH_COMFY_PORT_QWEN_IMAGE_2_1:强制指定特定模板(Z-Image-Turbo 或 Qwen-Image-2.1)使用的端口。
  • 模型路径:
    • DSH_ZIMAGE_MODELS / DSH_QWEN_IMAGE_MODELS:覆盖默认模型文件名,格式为 JSON。

例如,若本地量化了 Qwen-Image-2.1 模型,可配置如下:

export DSH_QWEN_IMAGE_MODELS='{"unet_name":"qwen_image_2.1_fp8.safetensors","clip_name":"qwen3vl_8b_fp8.safetensors","vae_name":"qwen_image_2.1_vae_bf16.safetensors"}'

模型与下载

插件默认通过 hf-mirror.com 下载模型权重。这是通过在启动 ComfyUI 进程时设置 HF_ENDPOINT 环境变量实现的,确保 huggingface_hub 库在导入时重写所有 URL。

注意:插件故意禁用了 HF_HUB_ENABLE_HF_TRANSFER(默认开启),因为该 Rust 下载器不支持镜像站点,启用会导致下载失败。

插件本身不会主动下载模型,而是报告文件列表、大小、许可证和剩余空间。只有在用户确认后,才会通过 download=true 触发下载。

典型用法

在 DSH 会话中,可以直接使用自然语言调用工具。例如:

draw a small green plant in a terracotta

插件将选择合适的模板、模型和采样参数,在本地 GPU 上执行生成。

在配置模型名称时,可以使用环境变量覆盖默认设置:

export DSH_QWEN_IMAGE_MODELS='...'

注意事项

  1. 重启要求:插件安装或更新后,必须重启 Harness 才能生效。
  2. 服务端运行:插件的核心工具(comfyui_generate 等)是服务器端逻辑,修改代码后必须重启。
  3. 无头模式:ComfyUI 不需要预先运行,插件会在首次使用时启动无头进程,后续复用该进程。
  4. 模板限制:并非所有模板都能运行。插件会检查模型权重是否存在,而非仅检查模板名称。

插件目录页 | GitHub 仓库

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜