前言¶
DeepSeek Harness(DSH)通过插件系统将不同的模型后端能力接入统一的推理框架。开发者在使用过程中,常需要接入多种 Serverless 推理服务,以实现模型切换或推理能力的扩展。dsh-llm-friendli 插件正是为了满足这一需求,它将 FriendliAI 的 serverless LLM 能力适配进 DSH 生态。
这是什么¶
这是一个为 DeepSeek Harness 提供的 FriendliAI serverless LLM 适配器。该插件由 Lee-Si-Yoon 维护。它为 DSH 提供了 OpenAI 兼容的聊天补全接口,支持动态模型发现与推理能力,使开发者能够通过标准协议调用 FriendliAI 的服务。
核心功能¶
- OpenAI-compatible chat completions:提供符合 OpenAI 协议的聊天补全接口,便于集成。
- dynamic model discovery:支持动态发现可用的模型资源。
- reasoning:支持推理任务处理。
安装与启用¶
当前未提供官方安装命令。建议通过插件目录或源码仓库获取安装指引。启用时请确保 DSH 进程拥有足够的权限调用 FriendliAI 服务。
使用方式¶
该插件通过 OpenAI 兼容的接口暴露服务能力。在 DSH 的配置中指向该适配器后,即可使用标准的聊天补全接口进行请求,利用 FriendliAI 的 serverless 能力获取推理结果。
适用场景与注意¶
- 适用场景:需要接入 FriendliAI serverless 推理能力的 DSH 用户,或需要动态模型发现与推理功能的智能体开发场景。
- 注意事项:插件以当前 dsh 进程权限运行。安装前请务必检查源码与许可证,确认符合使用要求。
结尾¶
该插件为 DSH 用户提供了标准化的 FriendliAI 接入方式。更多详细信息与配置请参考插件目录或源码仓库。