前言¶
在使用 DeepSeek Harness (DSH) 開發智能體時,有時需要連接本地的 LLM 推理服務。手動配置連接既繁瑣又容易出錯。DSH 的“一切皆插件”理念提供了一種標準化的方式來管理這些連接。
是什麼¶
dsh-wsl-llamacpp 是一個插件,用於對接本機 llama.cpp 或 Unsloth Desktop 的 OpenAI 兼容接口(默認端口 8080)。該插件由用戶 173787247 維護,旨在解決需要通過 DSH 管理本地推理流程的問題。
核心功能¶
- 對接 OpenAI 兼容接口。
- 支持 llama.cpp / Unsloth Desktop。
- 提供
llama_status工具,用於檢查模型可達性和 ID。 - 提供
llama_chat工具,用於發起 /v1/chat/completions 請求。 - 支持複用已有的 GGUF,不重裝工具鏈。
安裝與啓用¶
插件安裝命令如下:
dsh plugin --profile web add github:173787247/dsh-wsl-llamacpp
注意:安裝前需確保 DSH 版本 >= 0.1.2。dsh-wsl-kit 爲可選套件,不在 install.sh 中。
配置要點¶
插件支持通過配置項控制行爲,包括 baseUrl、defaultModel 和 timeoutMs。同時支持通過環境變量複用已有模型配置:
- DSH_LLAMA_BASE
- DSH_LLAMA_MODEL
典型用法¶
- 使用
llama_status檢查模型是否可達以及獲取模型 ID。 - 使用
llama_chat發起 /v1/chat/completions 請求。 - 在配置文件中設置 baseUrl、defaultModel 和 timeoutMs。
適用場景與注意¶
該插件適用於需要在 DSH 中對接本地 WSL 環境下 llama.cpp 或 Unsloth Desktop 服務的場景。
注意事項:
- 插件以當前 DSH 進程權限運行。
- 安裝前應檢查源碼與許可證(MIT)。
- 插件目錄是社區站點,與 DeepSeek / 幻方無官方從屬關係。