京東數據採集:用瀏覽器自動化從搜索頁導出商品 CSV

前言

做價格監控、競品對比或小規模選品分析時,往往需要把京東搜索頁上的商品列表整理成表格。手工複製粘貼效率低,且搜索頁常見懶加載與多頁結果,單頁複製很難覆蓋完整列表。下面介紹 SkillHub 上的「京東數據採集」Skill:在 Agent 中通過瀏覽器自動化訪問京東搜索頁,完成翻頁、滾動加載,並將結果導出爲 CSV。

這是什麼

「京東數據採集」是社區來源(community)的 Agent Skill,座標爲 @user_f4e1eca6/jd-scrape,當前版本 1.0.0,分類爲 data-analysis,由發佈者 user_f4e1eca6 維護。SkillHub 頁面顯示作者爲「叫我老大哥」。

一句話定位:使用瀏覽器自動化從京東搜索頁採集商品數據,支持多頁翻頁、懶加載滾動、導出 CSV。標籤 requires_api_key=false,表示按 SkillHub 標註無需額外 API Key。

官方入口:

  • SkillHub 頁面:https://www.skillhub.cn/skills/user_f4e1eca6/jd-scrape
  • API 座標頁:https://api.skillhub.cn/user_f4e1eca6/jd-scrape

核心功能

以下能力均來自官方簡介,未在資料中出現的字段或接口不作延伸說明。

  1. 搜索頁採集:以京東搜索頁爲入口,通過瀏覽器自動化讀取頁面上的商品信息。
  2. 多頁翻頁:支持在搜索結果中連續翻頁,而不限於第一屏。
  3. 懶加載滾動:針對列表懶加載,通過滾動觸發內容加載後再採集。
  4. 導出 CSV:將採集結果整理爲 CSV,便於在表格工具或後續腳本中處理。

安裝與啓用

Skill 遵循通用 SKILL.md 格式,需安裝到當前 Agent 能識別的 skills 目錄;裝錯目錄時 Agent 可能無法加載,需按所用客戶端選擇路徑。

1、安裝 SkillHub CLI(若尚未安裝)

先檢查是否已安裝:

command -v skillhub && skillhub --version

未安裝時,可按 SkillHub 官方安裝文檔執行完整安裝(CLI + 默認 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

僅需要 CLI 時:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

安裝說明全文:https://skillhub.cn/install/skillhub.md

2、安裝本 Skill

安裝時必須用 --dir 指向當前環境的 skills 目錄。SkillHub 頁面給出的安裝提示爲:根據上述安裝文檔,安裝 @user_f4e1eca6/jd-scrape。

通用命令形式如下(將 <skills 目錄> 替換爲實際路徑):

skillhub install user_f4e1eca6/jd-scrape --dir <skills 目錄>

常用客戶端的 skills 目錄(摘自 SkillHub 安裝文檔):

客戶端 skills 目錄
Cursor ~/.cursor/skills/
Claude Code ~/.claude/skills/
Codex ~/.codex/skills/ 或項目下的 .agents/skills/

也可在對話中讓 AI 按 https://skillhub.cn/install/skillhub.md 完成安裝,並明確座標 @user_f4e1eca6/jd-scrape。

3、啓用與刷新

Skill 安裝到對應目錄後,按各客戶端慣例加載 skills(部分環境需重啓或重新打開會話)。具體加載方式以你所用 Agent 的文檔爲準;資料中未單獨列出 Cursor 與 Codex CLI 的差異步驟時,以上目錄與 skillhub install 方式即爲官方給出的統一路徑。

典型用法

官方頁面未提供帶具體關鍵詞、頁數的逐步命令示例;可復現的部分是安裝座標與能力描述。實際使用時,在已啓用該 Skill 的 Agent 會話中說明需求即可,例如:給出京東搜索關鍵詞或搜索 URL、需要採集的頁數或範圍,並要求輸出 CSV。Agent 將按 Skill 內指引驅動瀏覽器完成翻頁與滾動,再導出文件。

建議在使用前自行確認:

  1. 本機或 Agent 運行環境具備瀏覽器自動化所需依賴(Skill 簡介明確依賴瀏覽器自動化)。
  2. 導出路徑與文件名在對話中寫清楚,便於在本地找到 CSV。

適用場景與注意

適合誰

  • 需要在 Agent 工作流裏快速拉取京東搜索列表、並落到表格的開發者或分析人員。
  • 能接受瀏覽器自動化方式、而非官方開放 API 集成的場景。

限制與注意

  • 頁面結構、反爬與登錄態變化可能導致採集失敗或字段不全;資料未承諾穩定性,使用前宜小規模試跑。
  • 請遵守京東服務條款與相關法律法規,僅將數據用於合規用途。
  • SkillHub 統計(以腳本抓取資料爲準):評分 100000,下載 2883,安裝 0;頁面展示數據會隨時間變化,以 SkillHub 爲準。

結尾

「京東數據採集」把京東搜索頁的翻頁、懶加載與 CSV 導出封裝成 Agent Skill,適合在 Cursor、Claude Code、Codex 等支持 skills 的環境裏按需安裝。獲取 Skill 與安裝說明請訪問 SkillHub:https://www.skillhub.cn/skills/user_f4e1eca6/jd-scrape

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜