Firecrawl:把网页抓取与搜索写进 Agent 的 Web 数据 Skill

Firecrawl(@user_b22a52ba/firecrawl,v2.0.0)是 SkillHub 上的 data-analysis 社区技能,将 Firecrawl 的 Scrape、Search、Map、Crawl、Monitor 及结构化 extract 等能力写入 SKILL.md,供 Agent 在网页抓取与搜索场景按统一约定调用。需配置 FIRECRAWL_API_KEY,通过 skillhub install 或安装文档装入各客户端 skills 目录。本文基于官方 Skill 文档与 SkillHub 页面整理安装、端点与典型 Python 示例,并说明异步 Crawl、计费与反爬等注意点。

閱讀全文
Web訪問技能:爲 AI Agent 統一聯網與瀏覽器 CDP 操作指引

Web訪問技能(@user_3c6cb52e/web-access-png)是 SkillHub 社區版 1.0.0 技能包,用 SKILL.md 規範 Agent 在 WebSearch、WebFetch、curl 與瀏覽器 CDP 之間的選型,並給出 CDP Proxy(localhost:3456)調用、本地書籤歷史檢索與子 Agent 分治等約定。本文基於官方頁面與 skillhub 安裝包覈對功能與安裝命令,說明 Cursor/Codex 等 skills 目錄配置,並提示當前下載包可能僅含指引文件、腳本需以商店或 GitHub 倉庫更新爲準。

閱讀全文
網頁抓取工具箱:標準庫實現的 Agent 網頁採集 Skill

網頁抓取工具箱(@user_f28fdad8/oc-web-fetch)是 SkillHub 社區 Skill,用四個 Python 腳本完成單 URL 抓取、批量抓取、元素提取與 HTML 轉 Markdown,僅依賴標準庫、無需 API Key。文章說明其定位與四類能力、通過 skillhub install 安裝到 Cursor 等客戶端 skills 目錄的方法,並給出官方文檔中的 JSON 入參示例與適用邊界(無 JS 渲染、簡化選擇器等)。

閱讀全文
文章獲取爬蟲:從政務與新聞站點採集 AI 與數字化政策資訊

文章獲取爬蟲(@user_6ed3129a/capoocat,v1.0.0)是 SkillHub 社區 data-analysis 類 Skill,無需 API Key。面向中國政府與新聞網站,按人工智能、數字化、信息化等關鍵詞抓取並排除招標公示類噪聲,輸出 original_articles、article_links 與 crawled_links.json。可通過 skillhub install 安裝到 Cursor 等 skills 目錄,或在對話中讓 Agent 按場景觸發;亦可 pip 安裝 requests、beautifulsoup4、lxml 後運行 crawler_skill.py。

閱讀全文
公衆號抓取 skill:從鏈接抓取正文並寫入飛書文檔

公衆號抓取 skill(@user_5223609c/scrapling-article-fetch)是 SkillHub 社區版 1.0.0 技能,用 Scrapling 與 html2text 從 URL 提取可讀正文(含圖),按優先級選擇器定位並按字符數截斷,再寫入飛書文檔並返回鏈接,適合 mp.weixin.qq.com 及一般文章鏈接的快速驗收。本文依據官方頁面說明安裝方式(skillhub install 與 AI 安裝提示詞)、核心能力與適用注意,並給出 Cursor、Claude Code、Codex 等 skills 目錄參考。

閱讀全文
BrowserSkill 瀏覽器自啓動器:讓 bsk 抓取任務自己拉起 Edge

BrowserSkill(bsk)抓取與自動化要求本機 Edge 已開且擴展連上 daemon,無人值守任務常因 browsers connected 0 中斷。SkillHub 社區 Skill「BrowserSkill 瀏覽器自啓動器」(@user_656c2e70/bsk-browser-launcher,v1.0.0)通過 launch_browser.py 做 bsk status 自檢、按需啓動 Edge、輪詢等待連接,並以退出碼 0/3/4 約定就緒、超時與建會話失敗;可選 --start-session 輸出 SESSION=id。文章說明安裝命令、典型 bsk 會話骨架及 Windows 路徑依賴。

閱讀全文
網頁抓取與內容理解:多策略級聯的網頁採集與理解 Skill

SkillHub 社區 Skill「網頁抓取與內容理解」(@user_f12a44b7/self-dev-web-scraper,v1.0.7)面向公開網頁的正文與元數據採集。它從輕量 HTTP 起步,按需回退到 HTML 解析與 Playwright 渲染,並集成新聞檢測、樣板移除、結構化元數據提取與 LLM 實體識別。安裝方式爲按 skillhub.md 安裝座標包;通過「抓取網頁」「批量爬取」等自然語言觸發。不適用登錄站(需自配 Cookie/Session)、API 文檔站與大文件下載。

閱讀全文
自適應網絡工具嚮導·上網助手:按意圖路由網頁任務

網絡搜索工具·上網助手(@laoxi/adaptive-web-router-shangwangzhushou,v1.0.2)是勞希在 SkillHub 發佈的 ai-agent 類技能。它根據意圖、能力、風險與成本,將搜索、讀 URL、熱點新聞、JS 渲染、登錄頁、截圖與網頁交互等任務路由到 web_search、web_fetch、opencli、browser 或宿主等價工具,並強調最小權限、有限重試、進度說明與來源覈驗,支持從網頁工具故障中恢復。不處理純本地文件,也不自動安裝軟件。安裝可參考 skillhub.cn/install/skillhub.md,使用 skillhub install 並指定 Agent 的 skills 目錄。

閱讀全文
firecrawl-build-interact:在業務代碼裏組裝 Firecrawl `/interact` 多步瀏覽器流程

firecrawl-build-interact 是 Firecrawl 官方 Agent Skill,用於在業務代碼中組裝 Firecrawl /interact 流程。當 /scrape 無法應對登錄、分頁、填表、無限滾動或 JS 單頁應用時,它封裝 steps、waits 與鑑權導航等模式,使多步瀏覽器操作可視爲單次調用。安裝命令爲 npx skills add 指定倉庫與 skill 名。適合需要鑑權抓取、分頁採集與多步表單等場景。

閱讀全文
dsh-wsl-playwright:WSL 無頭 Playwright 抓取頁面標題與正文

DeepSeek Harness (DSH) 插件 `dsh-wsl-playwright` 專爲在 WSL 環境中運行無頭 Playwright 瀏覽器而設計,旨在解決 Windows 端瀏覽器運行的環境隔離與權限問題。該插件依賴系統 npx 和 node,不包含瀏覽器二進制文件。核心功能包括 `pw_status` 檢查環境及 `pw_fetch` 抓取網頁標題與正文。用戶可通過簡單命令安裝使用,需注意 DSH 版本要求及避免與交互式瀏覽器衝突。

閱讀全文
better-crawler-4-agent

better-crawler-4-agent 是一款針對智能體網頁抓取問題的 MCP server。它通過真實瀏覽器渲染解決 HTTP 抓取返回空殼或被反爬攔截的問題。該插件提供三個工具:抓取單個頁面、併發抓取(支持20條併發)及查看狀態。它採用分層降級策略,優先使用瀏覽器渲染,失敗時自動降級爲 trafilatura 或 httpx。插件兼容 DSH、Claude Code、Cursor 等客戶端,但需注意鎖定 Playwright 版本及併發限制。

閱讀全文
dsh-tavily-pool: Tavily 驅動的 DeepSeek Harness 多密鑰搜索插件

DeepSeek Harness 插件 `dsh-tavily-pool` 解決了單 API 密鑰搜索的速率限制問題。該插件基於 Tavily,通過多密鑰池管理、餘額感知輪轉及自動故障轉移機制,確保了搜索與抓取的高可用性。核心功能包括批量密鑰管理、調用監控及獨立開關,支持純文本抓取與參數配置。安裝簡便,無運行時依賴,適用於需要高併發搜索能力的開發者。

閱讀全文
dsh-web-fetch-enhanced:DeepSeek Harness 網頁抓取的非公開地址白名單

`dsh-web-fetch-enhanced` 是 DeepSeek Harness 的安全增強插件,旨在解決原生 `web_fetch` 默認拒絕非公網地址導致無法訪問可信內網服務的問題。該插件默認拒絕非公網目標,僅放行明確命中的 CIDR 或域名白名單。 核心功能包括與原生工具兼容、網頁端即時配置、雙層白名單機制(CIDR+域名)、DNS校驗、重定向逐跳複覈及資源上限控制。用戶可通過 DSH Web 界面配置允許的網段和域名。安裝後,Agent 可安全讀取內網文檔或訪問私有服務,同時插件嚴格限制請求範圍,禁止 Cookie、URL 憑據及過度放行,並自動向模型注入授權聲明。

閱讀全文
xby-fetch:DSH 網頁內容抓取插件

`xby-fetch` 是一款爲 DeepSeek Harness (DSH) 智能體提供的 MCP 服務器插件,解決了早期版本缺乏聯網能力的問題。該插件支持將網頁 HTML 轉換爲 Markdown,方便內容處理。安裝後需通過命令設置 API 密鑰以獲取權限。插件通過 `fetch` 命令抓取指定 URL 內容,使智能體能獲取最新信息。使用時需注意需在小笨羊官網註冊獲取密鑰,並建議在安裝前檢查源碼與許可證。

閱讀全文
zoahdev/dsh-firecrawl:通過 Firecrawl API 抓取網頁與搜索

`zoahdev/dsh-firecrawl` 是 DeepSeek Harness 的社區插件,作爲 Firecrawl 的橋接層,提供網頁抓取和搜索功能。它通過 API 將 URL 轉換爲 Markdown 格式,支持處理複雜頁面。安裝需使用 `dsh plugin --profile web add dsh-firecrawl`,並配置 `apiKey`。調用工具如 `firecrawl_scrape` 和 `firecrawl_search` 即可獲取內容。使用前需注意需有效 API Key、依賴特定版本、不支持流式傳輸及爲非官方項目。

閱讀全文
dsh-cloudflare-browser-run:爲 DeepSeek Harness 提供真實瀏覽器抓取能力

dsh-cloudflare-browser-run 是 RealAlexandreAI 維護的 DSH 插件,將 Cloudflare Browser Run 的無頭 Chrome 接入 DSH,彌補普通 HTTP 抓取無法處理 JS 渲染頁面的短板。插件提供三個工具:browse(默認返回乾淨的 markdown,可選截圖或 PDF)、screenshot 和 pdf。其設計特點包括真實瀏覽器訪問、SSRF 防

閱讀全文
dsh-web-fetch:CDP 渲染 + Tavily 提取,雙源網頁抓取插件

dsh-web-fetch 是 runfali 開發的 MIT 許可 DeepSeek Harness(DSH)聯網插件,解決網頁抓取的兩個痛點:SPA 等需要真實渲染的頁面與

閱讀全文
dshsearch-multi:面向 DSH 的多引擎網頁搜索與網頁抓取插件

dshsearch-multi 是一款由 abcdream-Lary 開發的 DSH(DeepSeek Harness)插件,採用 MIT 許可證,旨在爲智能體提供統一的多引擎網頁搜索與正文抓取能力。該插件通過標準 Provider 接口註冊,無需修改 DSH 源碼,支持 AnySearch、Bing、DuckDuckGo、Tavily 和 Exa 五大引擎。其中,前三種無需 API Key,後兩種需配置密鑰;搜索失敗時可自動切換可用引擎兜底。插件還提供 `web.fetch` 網頁抓取功能及不調用 LLM 的確定性查詢意圖識別。 用戶可通過 DSH Web 設置頁、`settings.yam

閱讀全文
dsh-scrape-webpage:網頁抓取與統計分析插件

`dsh-scrape-webpage` 是 DeepSeek Harness 生態中一款 Host-only、零依賴的 MIT 許可插件,旨在自動化網頁內容抓取與輕量分析。該插件支持 HTTP/HTTPS 協議,能提取標題、描述、正文、H1-H6 結構及鏈接(上限 100 條),並輸出字符數、閱讀時長、語言傾向及 Top30 高頻關鍵詞等統計信息。 其核心優勢在於集成圖片下載與識圖擴展功能。插件可下載最多 6 張頁面內容圖片至本地,並通過 `scrape.imageAnalyzer` 服務接口支持接入獨立識圖插件,實現圖片視覺分析結果附加輸出。在安全方面,默認在沙箱內運行,若 HTTPS 受

閱讀全文
用 firecrawl-build:把網頁搜索、抓取和瀏覽器交互寫進應用代碼

firecrawl-build 是 Firecrawl 官方的應用集成入口 Skill,位於 firecrawl/skills 倉庫。它面向產品、Agent 或工作流在代碼裏獲取網頁數據的場景,先問清要拿什麼、怎麼拿,再把需求路由到 /scrape、/search 或 /interact,而不是把「當前會話幫我搜一頁」和「把 Firecrawl 寫進後端」混在一起。本文按 SKILL.md、倉庫 README 與官方文檔覈對安裝命令、環境變量、SDK、子技能分工、冒煙測試以及和 CLI / Workflow 技能的邊界。

閱讀全文
firecrawl-cli:讓 AI Agent 用 CLI 抓取、搜索、爬取與映射網頁

firecrawl-cli 是 Firecrawl 官方 Agent Skill(目錄 skills/firecrawl-cli,frontmatter 名爲 firecrawl)。它讓 Cursor、Claude Code、Codex 等助手用 firecrawl CLI 搜索、抓取、映射、爬取和交互網頁,結果以 Markdown/JSON 寫入 .firecrawl/。本文依據官方 SKILL.md 與 CLI 文檔,說明安裝鑑權、search→scrape→map→crawl→interact 路徑,以及 credits 與無 Key 限流等注意點。

閱讀全文