京东数据采集:用浏览器自动化从搜索页导出商品 CSV

前言

做价格监控、竞品对比或小规模选品分析时,往往需要把京东搜索页上的商品列表整理成表格。手工复制粘贴效率低,且搜索页常见懒加载与多页结果,单页复制很难覆盖完整列表。下面介绍 SkillHub 上的「京东数据采集」Skill:在 Agent 中通过浏览器自动化访问京东搜索页,完成翻页、滚动加载,并将结果导出为 CSV。

这是什么

「京东数据采集」是社区来源(community)的 Agent Skill,坐标为 @user_f4e1eca6/jd-scrape,当前版本 1.0.0,分类为 data-analysis,由发布者 user_f4e1eca6 维护。SkillHub 页面显示作者为「叫我老大哥」。

一句话定位:使用浏览器自动化从京东搜索页采集商品数据,支持多页翻页、懒加载滚动、导出 CSV。标签 requires_api_key=false,表示按 SkillHub 标注无需额外 API Key。

官方入口:

  • SkillHub 页面:https://www.skillhub.cn/skills/user_f4e1eca6/jd-scrape
  • API 坐标页:https://api.skillhub.cn/user_f4e1eca6/jd-scrape

核心功能

以下能力均来自官方简介,未在资料中出现的字段或接口不作延伸说明。

  1. 搜索页采集:以京东搜索页为入口,通过浏览器自动化读取页面上的商品信息。
  2. 多页翻页:支持在搜索结果中连续翻页,而不限于第一屏。
  3. 懒加载滚动:针对列表懒加载,通过滚动触发内容加载后再采集。
  4. 导出 CSV:将采集结果整理为 CSV,便于在表格工具或后续脚本中处理。

安装与启用

Skill 遵循通用 SKILL.md 格式,需安装到当前 Agent 能识别的 skills 目录;装错目录时 Agent 可能无法加载,需按所用客户端选择路径。

1、安装 SkillHub CLI(若尚未安装)

先检查是否已安装:

command -v skillhub && skillhub --version

未安装时,可按 SkillHub 官方安装文档执行完整安装(CLI + 默认 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅需要 CLI 时:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

安装说明全文:https://skillhub.cn/install/skillhub.md

2、安装本 Skill

安装时必须用 --dir 指向当前环境的 skills 目录。SkillHub 页面给出的安装提示为:根据上述安装文档,安装 @user_f4e1eca6/jd-scrape。

通用命令形式如下(将 <skills 目录> 替换为实际路径):

skillhub install user_f4e1eca6/jd-scrape --dir <skills 目录>

常用客户端的 skills 目录(摘自 SkillHub 安装文档):

客户端 skills 目录
Cursor ~/.cursor/skills/
Claude Code ~/.claude/skills/
Codex ~/.codex/skills/ 或项目下的 .agents/skills/

也可在对话中让 AI 按 https://skillhub.cn/install/skillhub.md 完成安装,并明确坐标 @user_f4e1eca6/jd-scrape。

3、启用与刷新

Skill 安装到对应目录后,按各客户端惯例加载 skills(部分环境需重启或重新打开会话)。具体加载方式以你所用 Agent 的文档为准;资料中未单独列出 Cursor 与 Codex CLI 的差异步骤时,以上目录与 skillhub install 方式即为官方给出的统一路径。

典型用法

官方页面未提供带具体关键词、页数的逐步命令示例;可复现的部分是安装坐标与能力描述。实际使用时,在已启用该 Skill 的 Agent 会话中说明需求即可,例如:给出京东搜索关键词或搜索 URL、需要采集的页数或范围,并要求输出 CSV。Agent 将按 Skill 内指引驱动浏览器完成翻页与滚动,再导出文件。

建议在使用前自行确认:

  1. 本机或 Agent 运行环境具备浏览器自动化所需依赖(Skill 简介明确依赖浏览器自动化)。
  2. 导出路径与文件名在对话中写清楚,便于在本地找到 CSV。

适用场景与注意

适合谁

  • 需要在 Agent 工作流里快速拉取京东搜索列表、并落到表格的开发者或分析人员。
  • 能接受浏览器自动化方式、而非官方开放 API 集成的场景。

限制与注意

  • 页面结构、反爬与登录态变化可能导致采集失败或字段不全;资料未承诺稳定性,使用前宜小规模试跑。
  • 请遵守京东服务条款与相关法律法规,仅将数据用于合规用途。
  • SkillHub 统计(以脚本抓取资料为准):评分 100000,下载 2883,安装 0;页面展示数据会随时间变化,以 SkillHub 为准。

结尾

「京东数据采集」把京东搜索页的翻页、懒加载与 CSV 导出封装成 Agent Skill,适合在 Cursor、Claude Code、Codex 等支持 skills 的环境里按需安装。获取 Skill 与安装说明请访问 SkillHub:https://www.skillhub.cn/skills/user_f4e1eca6/jd-scrape

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜