前言¶
DeepSeek Harness(DSH)通過插件系統將不同的模型後端能力接入統一的推理框架。開發者在使用過程中,常需要接入多種 Serverless 推理服務,以實現模型切換或推理能力的擴展。dsh-llm-friendli 插件正是爲了滿足這一需求,它將 FriendliAI 的 serverless LLM 能力適配進 DSH 生態。
這是什麼¶
這是一個爲 DeepSeek Harness 提供的 FriendliAI serverless LLM 適配器。該插件由 Lee-Si-Yoon 維護。它爲 DSH 提供了 OpenAI 兼容的聊天補全接口,支持動態模型發現與推理能力,使開發者能夠通過標準協議調用 FriendliAI 的服務。
核心功能¶
- OpenAI-compatible chat completions:提供符合 OpenAI 協議的聊天補全接口,便於集成。
- dynamic model discovery:支持動態發現可用的模型資源。
- reasoning:支持推理任務處理。
安裝與啓用¶
當前未提供官方安裝命令。建議通過插件目錄或源碼倉庫獲取安裝指引。啓用時請確保 DSH 進程擁有足夠的權限調用 FriendliAI 服務。
使用方式¶
該插件通過 OpenAI 兼容的接口暴露服務能力。在 DSH 的配置中指向該適配器後,即可使用標準的聊天補全接口進行請求,利用 FriendliAI 的 serverless 能力獲取推理結果。
適用場景與注意¶
- 適用場景:需要接入 FriendliAI serverless 推理能力的 DSH 用戶,或需要動態模型發現與推理功能的智能體開發場景。
- 注意事項:插件以當前 dsh 進程權限運行。安裝前請務必檢查源碼與許可證,確認符合使用要求。
結尾¶
該插件爲 DSH 用戶提供了標準化的 FriendliAI 接入方式。更多詳細信息與配置請參考插件目錄或源碼倉庫。