前言¶
用純文本模型幹活時經常遇到一種尷尬:用戶發來一張截圖、一份掃描件、一張折線圖,模型本身讀不到,只能讓調用方先做 OCR 或圖像理解,再把結果塞回去。結果是鏈路變長、每多一類輸入就要多接一套服務,而且各工具返回格式不統一,主模型很難穩定消費。
ds-vision-skill 就是爲解決這個問題而存在的:它把圖片理解、文檔解析、文字識別三類視覺任務收攏到一個 Skill 裏,內部按任務類型自動路由到對應工具,統一輸出標準 JSON,再交給主模型推理和總結。下面介紹它的定位、路由機制和用法。
這是什麼¶
ds-vision-skill 是一個基於通用 SKILL.md 格式編寫的 Agent Skill,座標 @user_f1d0538a/ds-vision-skill,當前版本 0.4.1,來源標記爲 community,發佈者爲 user_f1d0538a,分類 ai-agent。
它解決的問題很單一:讓不具備視覺能力的文本推理模型,能夠消費用戶提供的各類視覺輸入,並在本地完成路由與格式轉換,不需要調用方自己拼接多個外部服務。
核心功能¶
觸發條件¶
當用戶提供圖片、截圖、照片、圖表、UI 截圖、代碼截圖、數學題圖片、掃描件、PDF 或文檔,並明確提出描述、理解、推理、閱讀、OCR、提取文字、解析圖表、分析內容等要求時,這個 Skill 生效。
它不做通用的閒聊式看圖,而是圍繞「把視覺輸入轉成主模型可用的結構化信息」這一目標組織。
路由機制¶
默認入口是 scripts/vision-router.ps1。路由邏輯按輸入類型分三條路徑:
- 圖片理解:先走免費競速池 GLM/Agnes,再走 custom-1、custom-2、custom-3、local。也就是說優先嚐試不收費的通道,失敗或不可用時纔回落到自定義端點和本地模型。
- 文檔解析:走 MinerU。適用於 PDF、掃描件、排版文檔這類需要版面與結構還原的輸入。
- 純文字識別:走 Baidu OCR 或 Windows OCR。適用於只需要把圖上的字取出來、不需要理解版式的場景。
這個分層的價值在於:同樣是「這張圖裏有文字」,如果用戶要的是逐字提取,就不必跑一遍完整的圖片理解模型;如果用戶要的是圖表趨勢或 UI 佈局分析,也不至於把版面解析工具拉起來。
統一的輸出格式¶
所有底層工具的輸出都會被轉成標準 JSON,再交給主模型做推理和總結。這一點是它比直接調用單個 OCR 接口更實用的原因:主模型側只需要處理一種結構,不需要爲每個工具寫不同的解析分支。
安裝與啓用¶
安裝命令、目錄結構和具體配置字段需要以官方頁面爲準。目前可覈實的信息是標籤 requires_api_key=false,即該 Skill 本身不要求強制 API Key,但路由到 custom-1/custom-2/custom-3 等自定義端點時,端點自身的鑑權要求由相應服務決定。
啓用方式遵循通用 SKILL.md 格式:把 Skill 放入 Agent 可識別的 Skill 目錄,由 Agent 在遇到上述觸發條件時加載。由於該 Skill 的入口腳本是 PowerShell(vision-router.ps1),執行環境需要能跑 PowerShell 腳本。
需要提醒的是,官方頁面目前顯示安裝數爲 0,說明它還沒有被大規模部署過,踩坑時可參考的資料不多。
典型用法¶
下面介紹幾類官方資料中明確列出的輸入場景,以及路由會怎麼選。
- 用戶上傳 UI 截圖,要求「這個頁面有哪些元素、按鈕在哪裏」。屬於圖片理解,走 GLM/Agnes 競速池,失敗後回落 custom 端點或 local。
- 用戶上傳一份 PDF,要求「總結第 3 頁到第 5 頁的內容」。屬於文檔解析,走 MinerU,先還原版面與文字結構,再交主模型總結。
- 用戶上傳一張手寫筆記照片,要求「把上面的字轉成文字」。屬於純文字識別,走 Baidu OCR 或 Windows OCR。
- 用戶上傳一張折線圖,要求「對比兩條曲線的增長趨勢」。屬於圖片理解,走競速池,由主模型基於結構化輸出做推理。
上面四類都遵循同一條鏈路:視覺工具輸出 JSON → 主模型推理 → 主模型給出最終回答。調用方不需要關心中間具體是哪個模型在跑。
適用場景與注意¶
適合的場景:調用方使用的是純文本推理模型,需要在同一套對話裏處理圖片、截圖、PDF、掃描件等多種視覺輸入,並且不希望爲每類輸入單獨接一套服務。
需要注意的地方:
- 依賴 PowerShell 腳本做路由,Windows 環境最順;在 Linux 或 macOS 上需要確認 PowerShell 可用性,這一點官方資料未說明。
- 免費競速池 GLM/Agnes 的可用性和速率限制不由這個 Skill 控制,高併發或長任務時需要自行觀察回落行爲。
- MinerU 負責文檔解析,對複雜排版、公式、表格的還原效果取決於 MinerU 本身的處理能力,Skill 只負責把任務路由過去。
- Baidu OCR 與 Windows OCR 是兩條可選路徑,實際走哪條取決於環境與配置,官方資料未給出明確的優先級說明。
- 版本 0.4.1 仍屬早期,路由規則和工具清單後續可能調整。
結尾¶
ds-vision-skill 的價值不在提供了多少視覺模型,而在於把「按輸入類型選工具、統一輸出格式」這件事固化成一個可複用的 Skill。對於已經有文本推理主力模型、只是缺視覺入口的開發者,它比自己拼一套多服務鏈路要省事。
官方地址:https://api.skillhub.cn/user_f1d0538a/ds-vision-skill
SkillHub 頁面:https://www.skillhub.cn/skills/user_f1d0538a/ds-vision-skill