前言¶
在 DeepSeek Harness(DSH)的智能體開發中,處理網頁內容通常依賴於 DOM 解析,但這無法覆蓋頁面上的視覺元素。dsh-browser-vision 插件爲此提供了一個解決方案。它作爲一個瀏覽器工具,允許智能體“看”到頁面,而不僅僅是讀取其結構。
插件定位¶
這是一個由 tristan-mcinnis 維護的聯網工具插件。它通過驅動真實的 Chrome 瀏覽器(通過 Chrome DevTools Protocol, CDP)來執行任務,並利用視覺模型解析頁面內容。
核心功能¶
該插件具備以下核心能力:
* 頁面驅動:通過 CDP 驅動真實的 Chrome 瀏覽器進行操作。
* 視覺識別:能夠讀取 Canvas 上繪製的文本、圖片內部的文字以及渲染的圖表。
* 結構化提取:支持基於 Schema 的 JSON 字段提取,方便下游處理。
* 輸出格式:支持 Markdown 輸出。
* 成本統計:提供每運行任務的 Token 和成本統計。
安裝與啓用¶
下面介紹安裝步驟。
- 添加插件:
在終端中運行以下命令,將插件添加到 DeepSeek Harness 的 web 配置文件中:
dsh plugin --profile web add "github:tristan-mcinnis/dsh-browser-vision"
- 安裝引擎:
安裝 Python 引擎(使用uv):
uv tool install "git+https://github.com/tristan-mcinnis/dsh-browser-vision"
(注:也可以使用 pip 或 pipx)
-
配置環境:
確保DEEPSEEK_API_KEY已在 shell 環境中設置。插件不會存儲或轉發密鑰,僅繼承運行環境。 -
重啓配置文件:
重啓 DSH 的 web 配置文件(該配置文件通常禁用了熱重載)。 -
驗證狀態:
添加完成後,可以調用browser_vision_status工具來確認引擎是否可用。
典型用法¶
插件提供了三個主要工具:
browser_vision_task:使用自然語言運行網頁任務。它會導航、點擊、輸入,並讀取僅存在於像素中的內容。browser_vision_extract:根據傳入的 Schema 提取頁面字段,輸出爲 JSON。browser_vision_status:報告引擎安裝狀態,用於排查安裝問題。
系統要求與注意事項¶
- Python 版本:需要 Python 3.11 或 3.12。
- 瀏覽器依賴:系統必須安裝 Chrome 或 Chromium 二進制文件。注意,該插件不使用 Playwright,因此無需運行
playwright install。 - 視覺細節:在使用截圖功能時,避免使用
detail: low參數,因爲它會裁剪文本導致無法識別。
結語¶
dsh-browser-vision 爲 DeepSeek Harness 提供了基礎的視覺處理能力,使智能體能夠處理 Canvas、圖表等傳統 DOM 解析無法觸及的內容。對於需要處理複雜視覺信息的網頁任務,這是一個實用的補充工具。
- 插件目錄:https://www.skillhub.cn/plugins/tristan-mcinnis/dsh-browser-vision
- 項目主頁:https://github.com/tristan-mcinnis/dsh-browser-vision