前言¶

在智能体开发流程中，确保模型输出符合预期是关键环节。传统的测试依赖人工验证，效率低且容易遗漏。DeepSeek Harness (DSH) 作为一个插件化生态，将评估能力下沉为可复用的 Skill。satan9394/dsh-llm-eval 便是为此设计的工具，它将 LLM 评估的流程标准化，帮助开发者在模型迭代过程中快速定位问题。

这是什么¶

这是一个 DSH 技能插件，隶属于模型推理类别。项目由用户 satan9394 维护。它主要用于对大模型（LLM）的生成结果进行自动化评估，覆盖从忠实度、相关性到幻觉检测的多个维度，是模型质量保障的重要辅助工具。

核心功能¶

该插件实现了以下评估维度：
* 忠实度：检测模型输出是否忠实于给定的指令或上下文。
* 相关性：评估回答内容与用户查询的相关程度。
* 测试集：支持基于特定测试集的批量评估流程。
* 幻觉检测：识别模型生成内容中不存在于事实依据中的虚构信息。
* 回归守护：在模型迭代或微调后，快速检测性能是否发生退化。

安装与启用¶

根据目录记录，该插件未提供预设的安装命令。DSH 插件通常通过目录链接或 GitHub 仓库地址进行引入。
1. 访问插件目录页：https://www.skillhub.cn/plugins/satan9394/dsh-llm-eval
2. 或访问源码仓库：https://github.com/satan9394/dsh-llm-eval
3. 在 DSH 配置中添加相应的插件路径或仓库地址。

典型用法¶

作为 DSH Skill 使用。在评估流程中，该插件会加载指定的测试集（如果配置支持），并对模型的响应进行打分或分类。具体命令调用方式需参考插件目录或源码中的文档说明。

适用场景与注意¶

• 适用场景：需要建立自动化评估流水线的智能体项目；需要进行回归测试以防止模型性能下降的开发场景；对输出质量有严格要求的业务逻辑。
• 注意：DSH 插件通常以当前运行的 DSH 进程权限执行，涉及敏感数据时需注意权限隔离。由于项目许可证信息为空，使用前请务必检查源码与许可证条款。

总结¶

satan9394/dsh-llm-eval 为 DSH 用户提供了一套针对 LLM 输出的评估工具集，涵盖忠实度、幻觉检测等核心指标。对于需要稳定模型性能的开发者而言，这是一个可落地的回归与质量检查手段。详细文档与源码请参考 GitHub。