前言¶
DeepSeek Harness(DSH)的桌面端工具鏈已經可以調度外部服務,但面對需要 JavaScript 渲染、登錄態保持或本地文件處理的場景時,現有方案仍顯不足。web_search 與 web_fetch 適合靜態或簡單接口,卻無法處理複雜的表單、驗證碼、登錄流程或本地文檔。本插件爲 DSH Desktop 0.2.1-rc.2 提供原生瀏覽器交互能力,將真實瀏覽器、PDF 解析、OCR 和視頻幀提取納入同一調度體系。
插件定位¶
Web Workbench 是面向 DSH 的 Cordis 原生插件,註冊 13 個工具,複用 Harness 的工具調度、會話日誌和系統提示詞接口。它使用 Playwright 啓動真實 Edge/Chromium 瀏覽器,通過右側欄“AI 瀏覽器”展示實時畫面,支持人工接管登錄、驗證碼與 MFA,並將結果迴流給 AI 工具鏈。插件在 Host 進程中使用瀏覽器、網絡和文件 API,但不替代 DSH 的權限策略。
核心能力¶
- 真實瀏覽器打開與渲染:支持需要 JavaScript 的網站,返回渲染後的正文、元素引用與標籤頁。
- 表單與頁面交互:使用最近一次快照中的元素
ref執行點擊、翻頁、輸入、選擇、提交、滾動、切換標籤頁等操作;操作後返回新快照,舊ref失效。 - 人工接管與登錄:在右側欄“AI 瀏覽器”中點擊“接管瀏覽器”,手動登錄網站、處理驗證碼/MFA;登錄狀態按會話隔離,同一會話重開保留。
- 文件上傳與下載:通過“選擇文件”將本地文件放入當前會話暫存區,再上傳到網頁;網頁下載列表可在“下載文件”中查看並保存。
- PDF 全文提取:下載後按頁解析,支持頁碼與文字分頁;掃描頁可啓用 OCR。
- 圖片文字識別:內置英文和簡體中文 OCR 語言包,運行時無需聯網下載。
- PDF/網頁覈對與視頻幀:通過
pdf_render將指定頁轉 PNG,或對網頁截圖;通過video_inspect讀取格式與時長,用video_frame按時間點提取幀。 - HTTP 流式下載與瀏覽器會話:
web_download_file支持流式大小限制、重定向驗證、取消與殘缺清理,設置use_browser_session:true可附加當前站點 Cookie。
插件不能保證所有站點接受自動化,也不能繞過驗證碼、MFA、訂閱權限或付費牆。圖片 OCR 不等於語義理解,當前不包含語音轉寫與額外視覺模型。
安裝與啓用¶
Windows 獨立安裝器¶
確保已打開過一次 DSH Desktop,然後克隆倉庫並在終端執行:
git clone https://github.com/CoraEJones/dsh-web-workbench.git
cd dsh-web-workbench
.\Install.cmd
安裝器會調用官方 dsh plugin --profile desktop add <壓縮包> --ignore-scripts,同時安裝插件依賴。它不手工覆蓋 profile 配置,不修改全局權限,不需要管理員賬號。安裝後通過 web_workbench_status 驗證工具可用。
通過 Harness 管理入口¶
在提供 plugin_manager 工具的聊天中,發送:
請用 plugin_manager 安裝插件:action=install_bundle,target=github:CoraEJones/dsh-web-workbench。
使用當前 desktop profile,不手工改 profile 的 package.json 或 cordis.patch.yml。
安裝後檢查 application 和 warnings,再覈對 web_workbench_status、web_browser_open、web_browser_action、web_download_file、pdf_read、image_read。
調用 web_workbench_status 驗證工具可用。只有實際生效後才報告已安裝;如需重啓請明確告訴我。
安裝後,點擊“打開 AI 瀏覽器”即可使用。
典型用法¶
讀取論文 PDF¶
打開這篇論文的頁面,用真實瀏覽器查找並下載我有權訪問的 PDF,讀取全文,按頁碼整理原理和實驗參數。遇到登錄或驗證碼先把瀏覽器交給我,完成後繼續。
表單填寫與提交¶
打開這個網站,替我填好表單。提交前先讓我檢查內容,確認後再提交,並覈對成功回執。
本地文件處理¶
先調用 web_workbench_status 獲得本會話暫存目錄,將 PDF、圖片或視頻文件複製到該目錄,再使用 pdf_read、image_read 或 video_frame 讀取內容。工具僅能讀取和上傳該目錄內的文件。
設置與運行條件¶
通過 Harness 的插件設置修改 Config,無需改源碼:
dataDir:用戶目錄下.dsh/web-workbenchheadless:true(後臺運行並在側欄顯示同一瀏覽器);false可額外顯示獨立窗口browserChannel:msedge(也可用chrome或空字符串使用 Playwright Chromium)timeoutMs:30000maxFileBytes:100 MiBmaxTextChars:每次 20000 字符ocrLanguage:eng+chi_sim(支持eng、chi_sim)ffmpegPath/ffprobePath:可設爲絕對路徑verifyOnLoad:false(是否運行顯式 Host 自檢)
運行環境要求 Node.js >=22.13;視頻工具需要 FFmpeg/ffprobe 可用。
適用場景與注意¶
- 適合需要真實瀏覽器渲染、登錄態保持、複雜表單或本地文檔處理的 DSH 代理開發。
- 插件在 Host 進程中使用瀏覽器、網絡和文件 API,不是操作系統沙箱;插件會讀取外部不可信數據,需在系統提示詞中明確其邊界。
- 不要分享包含瀏覽器 profile 或
auth-state.json的數據目錄;不要將數據目錄加入版本庫。
小結¶
Web Workbench 將真實瀏覽器、PDF 解析、OCR 和視頻幀提取納入 DSH 工具鏈,支持人工接管與 AI 自動化的混合協作。通過統一的工具接口和會話隔離,開發者可以在不離開 DSH 的前提下完成從網頁操作到本地文檔處理的閉環。
- 目錄頁:https://www.skillhub.cn/plugins/CoraEJones/dsh-web-workbench
- GitHub:https://github.com/CoraEJones/dsh-web-workbench