在 DeepSeek Harness (DSH) 的插件生態中,處理視覺數據通常需要將本地文件、網絡鏈接或編碼數據轉換爲模型可處理的格式。xby-extract-image 解決了這一需求,提供了一套圖像提取與轉換的標準化接口。
這是什麼¶
這是一個 DeepSeek Harness (DSH) 插件,本質上是一個 MCP 服務器。它支持從本地文件、網頁 URL 以及 Base64 編碼數據中提取圖像,並將其轉換爲 Base64 格式,以便 LLM 進行後續的視覺內容理解、OCR 文本提取或物體識別。
核心功能¶
該插件提供以下四個核心操作:
- set_xby_apikey:在聊天中設置 API 密鑰。該密鑰會自動持久化,在進程重啓後依然有效。
- extract_image_from_file:從本地文件路徑提取圖像。支持對截圖、照片、圖表和文檔進行視覺內容理解、OCR 文本提取及物體識別。
- extract_image_from_url:從網頁 URL 提取圖像。適用於分析網頁截圖、在線照片、圖表等,支持 HTTP/HTTPS 協議下的視覺內容分析和文本提取。
- extract_image_from_base64:從 Base64 編碼的數據中提取圖像。適合處理剪貼板截圖、動態生成的圖像或應用內嵌入且無需文件系統訪問權限的圖像。
安裝與啓用¶
安裝該插件需要指定 profile。以下是從 GitHub 安裝的命令:
dsh plugin --profile web add github:xby_skill/xby-extract-image
如果需要本地開發調試,可以使用以下方式:
# 從本地目錄安裝
dsh plugin --profile web add /absolute/path/to/xby-extract-image
# 通過 cordis.patch.yml 進行開發調試
dsh web --profile web --patch /absolute/path/to/dsh-ocr-plugin/cordis.patch.yml
典型用法¶
安裝完成後,在 DSH 的對話或工具調用中,可以通過上述四個接口操作圖像。典型場景包括:
- 文件分析:將本地保存的截圖或 PDF 頁面文件路徑傳入
extract_image_from_file,提取圖像後由 LLM 進行內容總結或結構化數據提取。 - 網絡抓圖:將目標網頁的 URL 傳入
extract_image_from_url,獲取網頁視覺內容進行分析。 - 動態數據處理:將應用程序返回的 Base64 編碼圖像數據傳入
extract_image_from_base64,直接供模型處理。
適用場景與注意¶
- API 密鑰要求:使用前需在小笨羊官網註冊並獲取 API 密鑰,並通過
set_xby_apikey進行配置。 - 權限依賴:插件以當前 DSH 進程的權限運行。調用
extract_image_from_file時,DSH 進程需要擁有對應文件系統的讀取權限;調用extract_image_from_url時,需要網絡連接權限。 - 許可證:該插件遵循 MIT 許可證。
總結¶
xby-extract-image 爲 DSH 提供了基礎的圖像處理能力,填補了從多源數據到模型輸入的轉換空白。通過標準的 MCP 接口,它讓智能體能夠方便地接入視覺分析能力。更多細節請參考項目倉庫:github.com/xby-skill/xby-extract-image。