modelspoke:DeepSeek Harness 本地模型發現與元數據解析插件

前言

DeepSeek Harness (DSH) 的默認自定義提供者配置需要手動編寫 provider 塊,這對本地模型服務器來說比較繁瑣。modelspoke 是一個改進的替代方案,它負責發現服務器和模型,並提供 DSH 默認設置中缺失的能力配置。

什麼是 modelspoke

modelspoke 是一個本地 OpenAI 兼容模型服務器發現與分層推理元數據解析插件,用於 DeepSeek Harness (DSH)。它由 americanjeff 維護,旨在替代 DSH 的標準自定義提供者設置。

核心功能

  • llama-swap 和 Ollama 一等支持:插件內置對 llama-swap 和 Ollama 的支持,能夠讀取它們添加到擴展 OpenAI 兼容端點的能力數據。
  • 常見模型預設:針對不支持完整能力發現的服務器(如 llama-server、vLLM、sglang),提供了常見基礎模型的預設表格。
  • 全功能設置 UI:提供易用的設置界面,覆蓋日常字段(深度模板合約字段 compat 仍需手動編輯),支持覆蓋預設和發現的能力。
  • 推理努力級別:DSH 自定義提供者不支持設置推理努力,modelspoke 可以發現支持的級別並自定義 UI 設置到模型支持的映射。
  • 圖像輸入:能夠發現或指定圖像輸入能力,解決原生設置中多模態功能不可用的問題。

安裝與啓用

使用此插件前,需確保 DSH 版本爲 0.1.7(已驗證於 0.1.7-rc.1)。

  1. 安裝 pnpm:
    npm install --global pnpm
  1. 添加插件:
    根據使用的 DSH 配置文件(web 或 headless)執行相應命令:
    dsh plugin --profile web add modelspoke
    dsh plugin --profile headless add modelspoke
  1. 重啓 DSH:
    重啓 DSH 以加載插件。

典型用法

啓動 DSH 後,在左側側邊欄選擇 Plugins,進入 Installed 列表中的 modelspoke 卡片,點擊 + Add provider。

配置界面需要填寫:
* Provider name(提供者名稱)
* Base URL(服務器地址)
* Environment variable name for API key(API Key 的環境變量名,本地無認證服務器可留空)
* Default effort(可選,設置默認推理努力級別)

提交後,點擊提供者行旁邊的狀態點,當模型列表獲取成功後變爲綠色。點擊模型行右側的箭頭,可展開編輯詳情(上下文窗口、最大輸出 token、推理級別映射、nothink、圖像輸入等)。

適用場景與注意

  • 適用場景:需要管理本地模型服務器、使用 llama-swap 作爲模型能力來源、或需要精細控制推理努力和圖像輸入能力的用戶。
  • 重要注意:插件以當前 DSH 進程的權限運行,安裝前建議檢查源碼。模型列表是策展性質的,只有當模型出現在列表中時,Agent 才能尋址到它;清除詳情字段會將該字段釋放回解析鏈。

總結

modelspoke 通過自動發現和元數據解析,簡化了 DSH 本地模型的配置流程,增強了推理和圖像輸入的可配置性。源碼與文檔位於 GitHub。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜