前言¶
DeepSeek Harness (DSH) 採用插件化架構，旨在讓開發者通過插件擴展功能。在模型推理環節，尋找穩定且免費的模型接口通常需要維護手工清單。dsh-llm-kilo-gateway 插件解決了這個問題，它通過 Kilo Gateway 的公開目錄自動註冊免費模型，將其轉化爲 DSH 中可直接調用的 Provider。
插件定位¶
- 名稱：dsh-llm-kilo-gateway
- 核心價值：自動發現免費模型目錄，提供 API Key 設置、變更日誌和 Token 統計。
- 維護者：aqiu817
- 類別：模型推理
- 許可證：MIT
核心功能¶
該插件提供以下能力：
- 自動發現與刷新：自動讀取 Kilo Gateway 目錄中標記爲免費的模型，支持定時刷新（默認 24 小時）。
- 變更通知：模型列表發生增減時，支持通知端點推送變更日誌。
- 工具調用支持：支持完整的工具調用（Tool Calling）解析與執行。
- 推理強度展示：讀取並展示模型聲明的推理檔位（如 low/medium/high）。
- 多模態支持：支持圖像輸入（根據目錄聲明）。
- Token 統計：按模型累計調用次數與各類 Token 數量進行統計。
- 安全密鑰管理：提供設置頁輸入 API Key，寫入 Harness 憑據系統，頁面不回顯密鑰。
- 可用模型列表與日誌：在設置頁展示當前可用模型及其歷史增減記錄。
- 上游重試：支持對 429、5xx 和超時錯誤進行上游重試。
安裝與啓用¶
通過 DSH 的 CLI 安裝插件到指定 profile（示例爲 web profile）：
dsh plugin --profile web add dsh-llm-kilo-gateway
安裝完成後，重啓 DSH。在模型選擇器中會出現 Kilo Gateway 分組，並在「設置 → 插件」中找到對應的設置卡片。
設置與配置¶
進入插件設置頁，可配置以下參數：
| 配置項 | 默認值 | 說明 |
|---|---|---|
apiKeyEnv |
(空) | API Key 的憑據名。留空則使用匿名訪問（受限），否則需在此處配置 Key 或使用環境變量。 |
refreshIntervalMs |
86400000 | 目錄刷新間隔（毫秒），下限爲 60000。 |
notifyPort |
9876 | 通知端點端口，填 0 可關閉。 |
maxRetries |
2 | 單次失敗請求最多重試次數，上限 10。 |
requestTimeoutMs |
300000 | 單次上游請求超時時間（毫秒），範圍 10 秒至 30 分鐘。 |
API Key 配置¶
設置頁提供「Kilo API Key」輸入框，這是一個只寫控件。密鑰寫入 Harness 憑據系統，不會回顯到界面，也不會隨設置文檔回傳給瀏覽器。
也可以通過環境變量配置，無需使用頁面：
export KILO_API_KEY=your_key_here
模型列表¶
設置頁底部提供三個只讀面板：
* 可用模型列表：當前免費模型及其目錄聲明的能力。
* 模型增減日誌：最近 50 次目錄變動記錄。
* Token 統計：本進程按模型累計的用量。
免費模型列表¶
根據當前目錄抓取，共有 16 個免費模型。目錄是動態的，具體列表以設置頁爲準。
| 模型 ID | 上下文 | 最大輸出 | 輸入模態 | 工具調用 | 推理檔位 | 到期 |
|---|---|---|---|---|---|---|
| stepfun/step-5-preview-free | 1M | 64K | text, image | 支持 | low/medium/high | — |
| kilo-auto/free | 256K | 33K | text | 支持 | — | — |
| nvidia/nemotron-3-ultra-550b-a55b:free | 1M | 66K | text | 支持 | none/medium/high | — |
| dots-studio/dots-3-note-preview:free | 512K | 461K | text, image | 支持 | instant/thinking | 2026-12-31 |
| inclusionai/ling-3.1-flash | 262K | 33K | text | 支持 | instant/thinking | — |
| poolside/laguna-s-2.1:free | 262K | 33K | text | 支持 | instant/thinking | 2026-10-31 |
| stealth/glyph-cluster | 256K | 256K | text | 支持 | low/medium/high/xhigh | — |
| liquid/lfm-2.5-2.6b:free | 66K | 8K | text | 支持 | thinking | — |
| nvidia/nemotron-3.5-lightning:free | 1M | 66K | text | 支持 | instant/thinking | — |
| thinkingmachines/inkling-small:free | 1M | 262K | text, image, audio | 支持 | none/minimal/low/medium/high/max | — |
| poolside/laguna-xs-2.1:free | 262K | 33K | text | 支持 | instant/thinking | 2026-10-31 |
| cohere/north-mini-code:free | 256K | 64K | text | 支持 | instant/thinking | — |
| nvidia/nemotron-3.5-content-safety:free | 128K | 8K | text, image | 不支持 | instant/thinking | — |
注意事項¶
- 數據隱私風險：免費模型的提示詞與輸出可能被上游記錄並用於訓練。Kilo 服務條款授予了寬泛的數據許可範圍。不要處理任何敏感或機密數據。
- 限流與成本：匿名訪問限 200 請求/小時/IP。免費模型雖定價爲 0，但上游 provider 可能隨時調整策略或限流。
- 模型動態性：免費模型是動態的，可能隨時消失或到期。任何依賴免費模型的工作流都需做好應對模型下線的準備。
- 插件性質：本插件是第三方客戶端，與 Kilo 無隸屬關係。上游 API 字段、限流政策或條款可能隨時變化。
結語¶
該插件爲 DSH 用戶提供了接入免費模型的能力，適合用於測試、開發或低成本原型驗證。使用前請務必閱讀上述風險說明，並根據實際需求配置重試與超時策略。
