better-crawler-4-agent

better-crawler-4-agent 是一款针对智能体网页抓取问题的 MCP server。它通过真实浏览器渲染解决 HTTP 抓取返回空壳或被反爬拦截的问题。该插件提供三个工具：抓取单个页面、并发抓取（支持20条并发）及查看状态。它采用分层降级策略，优先使用浏览器渲染，失败时自动降级为 trafilatura 或 httpx。插件兼容 DSH、Claude Code、Cursor 等客户端，但需注意锁定 Playwright 版本及并发限制。