前言¶

做應用或實驗時，「這個任務該用哪個模型」往往是第一個具體問題。常見做法是翻博客、看社區討論，或憑印象選一個參數量「差不多能跑」的 checkpoint，再對照零散評測片段。Hugging Face Hub 上已有帶 benchmark:official 標記的官方排行榜數據集，但要把任務、榜單、參數量與本地顯存或統一內存對齊，仍需要多次查 API 和模型卡。

下面介紹 Hugging Face 在 huggingface/skills 倉庫中提供的 huggingface-best Skill：它把「解析需求 → 查官方榜單 → 補全元數據 → 按設備過濾 → 輸出對比表」寫成 Agent 可執行的固定流程，適合在 Cursor、Claude Code、Codex、Gemini CLI 等支持 Agent Skills 的環境裏啓用。

這是什麼¶

huggingface-best 是面向「模型推薦與對比」的 Agent Skill，遵循 Agent Skills 標準，以目錄內的 SKILL.md（YAML frontmatter + 操作說明）形式交付。

維護方是 Hugging Face，與 Hub CLI、MCP 等同一套 Skills 生態。Skill 的 description 寫明：當用戶詢問某任務的最佳/推薦模型、該用什麼 AI 模型、或希望按 benchmark 分數對比模型時觸發；即使用戶未提到 Hugging Face 或 benchmark，只要意圖是選型或對比，也應啓用本 Skill。

核心產出是：基於官方 HF benchmark 排行榜查詢結果，結合模型參數量與許可證等信息，在用戶給出設備約束時做可部署性判斷，並以 Markdown 對比表返回推薦排序。

核心功能¶

解析任務與設備¶

從用戶消息中提取：

• Task：coding、數學/推理、對話、OCR、RAG/檢索、語音識別、圖像分類、多模態、Agent 等。
• Device：例如 MacBook M 系列統一內存 8/16/32/64GB、帶指定 VRAM 的 RTX、僅 CPU、雲端/無約束等。

若未提及設備，不做體量過濾，按 benchmark 分數返回表現最好的模型。任務 genuinely 模糊時，Skill 要求只問一個澄清問題。

設備 → 參數量預算¶

指定設備時，從可用內存（Apple Silicon 爲統一內存，獨顯爲 VRAM）估算：

• fp16 最大參數量（B） ≈ 內存（GB） ÷ 2
• Q4 最大參數量（B） ≈ 內存（GB） × 2

示例：16GB → 約 8B fp16 / 32B Q4；24GB VRAM → 約 12B fp16 / 48B Q4；8GB → 約 4B fp16 / 16B Q4。

查詢官方 Benchmark 與排行榜¶

1. 拉取全部官方 benchmark 數據集列表（filter=benchmark:official），按 id、tags、description 匹配與用戶任務相關的數據集，力求覆蓋完整而非只選兩三個。
2. 對每個選中數據集的 leaderboard API 取前 15 名（含 rank、modelId、value、verified）。
3. 對約 10–15 個候選 model ID 調用 Models API 或 hf models info，提取參數量（優先 safetensors.total）、許可證標籤等；無 safetensors 時從模型名解析如 7b、70b 等。

上述 HTTP 請求在 Skill 說明中使用 Hub API，並約定 Header：

Authorization: Bearer $(cat ~/.cache/huggingface/token)

過濾、排序與輸出¶

• 有設備約束：剔除超過 fp16 預算的模型；僅 Q4 能裝下的標爲 Q4；略超預算的高排名模型保留並註明需 Q4，不靜默丟棄。
• 無設備約束：僅按 benchmark 分數排序，保留約 5–8 個模型。
• 排行榜若出現專有/API 模型（如 GPT-4、Claude、Gemini），可列入但標爲 API only；用戶明確要求僅本地/開源時可排除。

最終輸出 Markdown 對比表：模型鏈到 https://huggingface.co/<model_id>，多 benchmark 列用 — 表示未評測，榜首用 ⭐ 標記，「On device」取 Yes (fp16)、Q4 only、Too large、API only 等。

展示表格後，Skill 會追問是否運行推薦模型；若肯定，再區分本地部署或 HF Jobs 指引。

錯誤與回退¶

• 某 leaderboard 404/401 等：跳過並在輸出中註明不可用。
• 找不到任務相關 benchmark：使用 Skill 內 curated fallback，或 hub_repo_search 按任務 filter、按 trendingScore 排序。
• 全部 leaderboard 失敗：回退到按任務標籤的熱門模型，並說明結果是流行度而非 benchmark 分數。

安裝與啓用¶

本 Skill 屬於 huggingface/skills 倉庫的 skills/huggingface-best 目錄。倉庫說明：Marketplace 默認側重 hf-cli；其它工作流 Skill 可用 hf skills add <skill-name> 按需安裝，或由支持 Skill 的客戶端通過 CLI/MCP 發現。

Claude Code¶

註冊插件市場並安裝 CLI Skill 後，用 hf 添加本 Skill：

/plugin marketplace add huggingface/skills

/plugin install hf-cli@huggingface/skills

hf skills add huggingface-best

Codex¶

將倉庫 skills/ 下對應目錄複製或 symlink 到 Codex 標準的 .agents/skills 路徑（如 $REPO_ROOT/.agents/skills 或 $HOME/.agents/skills），由客戶端按 Agent Skills 標準加載 SKILL.md。亦可使用倉庫生成的 agentsmd/AGENTS.md 作爲回退。

Gemini CLI¶

gemini extensions install https://github.com/huggingface/skills.git --consent

或在本機擴展目錄執行 gemini extensions install . --consent（見倉庫 gemini-extension.json）。

Cursor¶

通過倉庫的 Cursor 插件清單（.cursor-plugin/plugin.json、.mcp.json）安裝；Marketplace 入口以 hf-cli 爲主，額外 Skill 同樣建議：

hf skills add huggingface-best

執行 API 查詢前，需已配置 ~/.cache/huggingface/token，並安裝 hf CLI（hf models info 等）。與選型銜接時，倉庫還提供 huggingface-local-models（llama.cpp / GGUF 本地運行）、hf-mem（估算加載權重內存）等 Skill，可按需要一併安裝。

典型用法¶

Skill 由 Agent 在用戶自然語言提問時自動觸發，典型表述包括：best model for X、what model should I use for、top models for [task]、which model runs on my laptop、compare models for、what's state of the art for 等。

Agent 側會按 Skill 步驟調用 Hub API。例如列出官方 benchmark：

curl -s -H "Authorization: Bearer $(cat ~/.cache/huggingface/token)" \
  "https://huggingface.co/api/datasets?filter=benchmark:official&limit=500" | jq '[.[] | {id, tags, description}]'

對選定數據集取排行榜：

curl -s -H "Authorization: Bearer $(cat ~/.cache/huggingface/token)" \
  "https://huggingface.co/api/datasets/<namespace>/<repo>/leaderboard" | jq '[.[:15] | .[] | {rank, modelId, value, verified}]'

用戶只需在對話中說明任務與設備，例如：「16GB M2 MacBook 上做 Python coding，推薦能本地跑的開源模型並對比 benchmark。」Agent 應返回帶許可證與「能否在本機 fp16/Q4」列的表格，並給出後續是否本地跑或走 HF Jobs 的選項。

適用場景與注意¶

適合：需要在短時間內基於 HF 官方 leaderboard 做任務導向選型；要在同一表格裏對比多個 benchmark 分數；本地或邊緣設備有明確內存上限，希望 Agent 自動做參數量與量化檔位判斷。

注意：

• fp16/Q4 預算爲 Skill 內近似公式，實際推理還受上下文長度、框架與 KV cache 影響，表格中的「On device」是選型提示而非嚴格 profiling；精細內存估算可配合 hf-mem。
• 依賴 Hub API 與 token；部分 leaderboard 可能不可用，輸出會標註並可能回退到 trending 搜索。
• Benchmark 覆蓋隨官方數據集更新變化，Agent 需根據返回列表判斷與任務的匹配度，而非固定幾張表。

結尾¶

huggingface-best 把「查官方 benchmark、對齊設備、生成對比表」收斂成可重複的 Agent 工作流，減少在 Hub 與評測信息之間手工拼接的時間。官方 Skill 說明與源碼目錄：

https://github.com/huggingface/skills/tree/main/skills/huggingface-best