前言¶

接入新的 LLM API 或换模型后，团队往往要分别写脚本测延迟、跑压测、对比历史结果，再手工调 max_tokens 和 temperature。步骤分散、结果难对齐，也不方便给同事看报告。

下面介绍 SkillHub 上的社区 Skill「大模型基准测试与自我优化」（坐标 @user_fcba917f/llm-benchmark）。它把基准测试、压力测试、历史分析、参数推荐和网格搜索调参收进一套基于 SKILL.md 的 Agent 工作流，并可通过 llm_bench.py 生成 HTML/PDF 报告。

这是什么¶

定位：面向 OpenAI 兼容端点的一站式 LLM API 基准测试与自我优化工具。

维护方：SkillHub 社区发布者 user_fcba917f（页面标注作者 EFU周博远），来源为 community，分类 ai-agent，当前 SkillHub 版本 1.0.1（包内文档同时标注套件名称为 LLM Benchmark Suite v3.1）。

解决的问题：在统一命令行入口下完成快速/完整基准、持续压测、多模型对比、历史趋势与参数优化，减少自研评测脚本的成本。

SkillHub 标签包含 requires_api_key=true，实际评测需要可用的 API 地址与密钥（本地 Ollama 等场景可按 Skill 说明使用占位密钥）。

核心功能¶

以下能力均来自官方简介与包内 SKILL.md，可按需选用：

1. 快速基准测试：约 12 条/轮 × N 轮，适合先验证连通性（--mode quick）。
2. 完整基准测试：约 40 条/轮 × N 轮，覆盖短文本、数学、创意、问答、代码、推理、长文本、多语言等维度。
3. 持续压力测试：支持指定时长与并发，带断点续传、检查点与状态查询（stress、status）。
4. 批量对比：对多个模型执行 batch 或 batch-stress。
5. 历史与优化：optimize analyze 做趋势与性能画像；optimize compare 横向对比；optimize suggest 按 production/development/loadtest 场景推荐参数；optimize auto-tune 做网格搜索调参。
6. 报告：report 子命令输出 HTML、PDF 或两者；优化分析可生成 optimize_*.html。
7. 指标：TTFT、TPS、ITL 及 P50/P90/P99 等；评分支持 tps、ttft、balance 等目标。

默认结果写入 Skill 目录下的 benchmark_logs/，可通过环境变量 LLM_BENCH_LOG_DIR 自定义路径。

安装与启用¶

1、安装 SkillHub CLI（若尚未安装）¶

先检查是否已有 CLI：

command -v skillhub && skillhub --version

未安装时可按 SkillHub 安装文档执行（完整安装示例）：

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

说明文档：https://skillhub.cn/install/skillhub.md

2、将 Skill 装到当前 Agent 的 skills 目录¶

安装时必须使用 --dir 指向当前客户端识别的 skills 目录，否则默认落在 ./skills/ 可能无法被 Agent 加载。常见路径（以安装文档为准）：

• Cursor：~/.cursor/skills/
• Claude Code：~/.claude/skills/
• Codex：~/.codex/skills/ 或项目下的 .agents/skills/

安装本 Skill 的命令（SkillHub 检索结果给出的命名空间形式）：

skillhub install llm-benchmark --namespace user_fcba917f --dir ~/.cursor/skills/

也可在对话中让 Agent 按 https://skillhub.cn/install/skillhub.md 安装 @user_fcba917f/llm-benchmark。

3、Python 依赖¶

首次跑评测前，在 Skill 目录安装依赖（SKILL.md 要求 Python >= 3.9）：

pip install httpx reportlab

WorkBuddy / ClawHub 场景下文档说明可搜索 llm-benchmark 安装并由环境处理依赖；其他客户端以手动 pip 为准。

典型用法¶

Agent 触发本 Skill 后，应在 Skill 目录执行 python llm_bench.py <子命令>。若用户未提供 API、密钥、模型名，应先确认；API 需为 OpenAI 兼容的 /v1/chat/completions 形式。

快速基准（本地 Ollama 示例）：

python llm_bench.py benchmark \
  --api "http://localhost:11434/v1/chat/completions" \
  --key "ollama" \
  --model "qwen2.5:7b"

完整基准：

python llm_bench.py benchmark --api "URL" --key "KEY" --model "MODEL" --mode full --rounds 3

一小时压力测试（3 并发、256 max tokens）：

python llm_bench.py stress --api "URL" --key "KEY" --model "MODEL" \
  --duration 60 --concurrency 3 --max-tokens 256

查看任务进度：

python llm_bench.py status

导出报告：

python llm_bench.py report --file result.json --format both

生产场景参数推荐：

python llm_bench.py optimize suggest --model "qwen2.5:7b" --scenario production

自动网格调参（会发送大量请求，需事先说明耗时与费用）：

python llm_bench.py optimize auto-tune \
  --api "http://localhost:11434/v1/chat/completions" \
  --key "ollama" \
  --model "qwen2.5:7b" \
  --param max_tokens:64,128,256,512 \
  --param temperature:0.0,0.3,0.7,1.0 \
  --metric balance --goal maximize --top 5

经过上面的步骤，Agent 可从输出的 JSON 与报告中提炼 TPS、TTFT、成功率与趋势，并用自然语言给出结论；需要可视化时再调用 report 或优化分析生成的 HTML。

适用场景与注意¶

适合谁

• 需要在同一套流程里对比多个模型或同一模型不同参数配置的开发者。
• 已使用 Cursor、Claude Code、Codex 等支持 Skills 的客户端，希望用自然语言触发「跑 benchmark / 压测 / 出报告」的团队。
• 对接自建或第三方 OpenAI 兼容网关，需要历史趋势与场景化参数建议的场景。

限制与注意

• 必须提供有效 API；压测与 auto-tune 会产生大量请求，长任务前建议先用 --mode quick 验证连通性。
• SkillHub 页面显示下载约 630 次、评分 100000（统计以 SkillHub 为准，会随时间变化）。
• 非 OpenAI 兼容协议或需要登录后才能访问的接口，不在 Skill 默认假设范围内。
• 安装后若 Agent 未加载新 Skill，需确认 --dir 路径正确并按客户端要求刷新或重启。

结尾¶

「大模型基准测试与自我优化」把 LLM API 的评测、压测、历史分析与调参收敛到 llm_bench.py 与 Agent 可读的 SKILL.md 流程中，适合作为接入新模型后的标准检查步骤。

官方 Skill 地址：https://api.skillhub.cn/user_fcba917f/llm-benchmark
SkillHub 页面：https://www.skillhub.cn/skills/user_fcba917f/llm-benchmark