dsh-llm-friendli:FriendliAI serverless LLM adapter for DeepSeek Harness — OpenAI-compatibl

前言

DeepSeek Harness(DSH)通過插件系統將不同的模型後端能力接入統一的推理框架。開發者在使用過程中,常需要接入多種 Serverless 推理服務,以實現模型切換或推理能力的擴展。dsh-llm-friendli 插件正是爲了滿足這一需求,它將 FriendliAI 的 serverless LLM 能力適配進 DSH 生態。

這是什麼

這是一個爲 DeepSeek Harness 提供的 FriendliAI serverless LLM 適配器。該插件由 Lee-Si-Yoon 維護。它爲 DSH 提供了 OpenAI 兼容的聊天補全接口,支持動態模型發現與推理能力,使開發者能夠通過標準協議調用 FriendliAI 的服務。

核心功能

  • OpenAI-compatible chat completions:提供符合 OpenAI 協議的聊天補全接口,便於集成。
  • dynamic model discovery:支持動態發現可用的模型資源。
  • reasoning:支持推理任務處理。

安裝與啓用

當前未提供官方安裝命令。建議通過插件目錄或源碼倉庫獲取安裝指引。啓用時請確保 DSH 進程擁有足夠的權限調用 FriendliAI 服務。

使用方式

該插件通過 OpenAI 兼容的接口暴露服務能力。在 DSH 的配置中指向該適配器後,即可使用標準的聊天補全接口進行請求,利用 FriendliAI 的 serverless 能力獲取推理結果。

適用場景與注意

  • 適用場景:需要接入 FriendliAI serverless 推理能力的 DSH 用戶,或需要動態模型發現與推理功能的智能體開發場景。
  • 注意事項:插件以當前 dsh 進程權限運行。安裝前請務必檢查源碼與許可證,確認符合使用要求。

結尾

該插件爲 DSH 用戶提供了標準化的 FriendliAI 接入方式。更多詳細信息與配置請參考插件目錄或源碼倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜