京东商品数据采集:把商品详情与评论交给接口

前言

做京东选品或评论分析时,常见做法是自己写采集脚本。京东页面结构变动频繁,还有反爬,脚本经常跑一段时间就要维护。下面介绍的是一个把这一步封装起来的 Skill:对接数据 API 中转平台,按次扣点,不自己维护抓取逻辑。

这是什么

京东商品数据采集,坐标 @user_3dced484/jd-data。社区来源(community),分类 data-analysis,发布者 user_3dced484,当前版本 1.6.0。

它解决的问题是:需要京东商品详情和商品评论数据,但不想自己写采集脚本、不想应对反爬。Skill 在检测到相关意图时调用中转平台接口完成采集。

核心功能

1、商品详情采集:按商品获取详情数据。
2、商品评论采集:按商品获取评论数据。
3、按次扣点:对接数据 API 中转平台,每次调用扣对应点数。批量任务前可以先免费查询余额与单价,避免跑到一半余额不足。
4、需要 API key:标签 requires_api_key=true,启用前要先准备好中转平台的 API key。

安装与启用

已抓取的官方资料中没有给出具体安装命令,只给出了页面地址、接口地址和坐标。安装前请到官方页面查看最新说明。

官方页面:https://www.skillhub.cn/user_3dced484/jd-data
官方接口:https://api.skillhub.cn/user_3dced484/jd-data
坐标:@user_3dced484/jd-data
分类:data-analysis

这段配置的作用是确认 Skill 的归属与入口。启用时还需要配置 API key,否则无法调用中转平台接口。

典型用法

用法来自官方简介中声明的触发场景,Agent 检测到以下意图时会启用该 Skill:

1、用户需要采集京东商品详情。
2、用户提到”京东评论采集”“商品评论分析”。
3、用户提到”商品数据分析”。

触发后由 Agent 调用中转平台接口完成采集,不需要用户手写请求。

适用场景与注意

适合:选品分析、评论分析、需要京东商品结构化数据的批量任务。

1、这是社区来源的 Skill(source: community),不是京东官方出品,数据来自第三方中转平台。
2、按次扣点。据发布方介绍,商品详情 180 点/次、商品评论 300 点/次、注册送 1000 点;这些价格与赠送信息未在已核对的页面中确认,以官方页面为准。
3、批量任务前先查余额与单价。
4、需要自行准备 API key。

结尾

这个 Skill 的价值在于把京东商品详情与评论的采集封装成一次调用,省掉自建爬虫和应对反爬的维护成本,按次扣点,批量前可查余额。SkillHub 页面当前显示评分 100000、下载 19790、安装 0(抓取时数据,以官方页面实时数据为准)。官方地址:https://www.skillhub.cn/user_3dced484/jd-data。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye