dsh-llm-llamacpp:在 DSH 中接入 llama.cpp 并查看实时推理进度

dsh-llm-llamacpp 是 slaren 维护的 DeepSeek Harness Cordis 插件,在 DSH 0.2.x 下将一台或多台 llama-server(OpenAI 兼容 API)注册为模型 provider,并从 /v1/models、/props、/apply-template 等端点发现模型与 reasoning 等级。Composer dock 提供 prompt/decode 进度、slot 与 KV、缓存命中率及 metrics 对话框;并发会话通过 slot 亲和保持缓存。安装自 GitHub:npx @deepseek-ai/dsh plugin --profile web add github:slaren/dsh-llm-llamacpp。插件不托管 llama-server,MIT 许可。

阅读全文