前言¶
在使用 DeepSeek Harness (DSH) 开发智能体时,有时需要连接本地的 LLM 推理服务。手动配置连接既繁琐又容易出错。DSH 的“一切皆插件”理念提供了一种标准化的方式来管理这些连接。
是什么¶
dsh-wsl-llamacpp 是一个插件,用于对接本机 llama.cpp 或 Unsloth Desktop 的 OpenAI 兼容接口(默认端口 8080)。该插件由用户 173787247 维护,旨在解决需要通过 DSH 管理本地推理流程的问题。
核心功能¶
- 对接 OpenAI 兼容接口。
- 支持 llama.cpp / Unsloth Desktop。
- 提供
llama_status工具,用于检查模型可达性和 ID。 - 提供
llama_chat工具,用于发起 /v1/chat/completions 请求。 - 支持复用已有的 GGUF,不重装工具链。
安装与启用¶
插件安装命令如下:
dsh plugin --profile web add github:173787247/dsh-wsl-llamacpp
注意:安装前需确保 DSH 版本 >= 0.1.2。dsh-wsl-kit 为可选套件,不在 install.sh 中。
配置要点¶
插件支持通过配置项控制行为,包括 baseUrl、defaultModel 和 timeoutMs。同时支持通过环境变量复用已有模型配置:
- DSH_LLAMA_BASE
- DSH_LLAMA_MODEL
典型用法¶
- 使用
llama_status检查模型是否可达以及获取模型 ID。 - 使用
llama_chat发起 /v1/chat/completions 请求。 - 在配置文件中设置 baseUrl、defaultModel 和 timeoutMs。
适用场景与注意¶
该插件适用于需要在 DSH 中对接本地 WSL 环境下 llama.cpp 或 Unsloth Desktop 服务的场景。
注意事项:
- 插件以当前 DSH 进程权限运行。
- 安装前应检查源码与许可证(MIT)。
- 插件目录是社区站点,与 DeepSeek / 幻方无官方从属关系。