inference-serving:把 checkpoint 部署成可访问推理端点
inference-serving(@xiciyang/inference-serving)是维护者 xiciyang 的 DSH 模型推理插件与 CLI,将 checkpoint 部署为可访问端点:环境探测、后端选择、三关健康检查、注册与共享状态;失败时按内存配额、并行度、精度、端口自动降级,仍失败则回滚,teardown 验证无残留。全程哈希链审计写入 ~/.ai-infra/logs/audit/。零 npm 运行时依赖,154 项测试。安装:npm 全局或 dsh plugin add @xiciyang/inference-serving。非 vLLM 替代,而是围绕其的运维层。
阅读全文