DSH LeRobot Dataset Inspector:在 Harness 裏只讀查看本地 LeRobot 數據集

前言

在 DSH 裏做機器人學習或數據相關對話時,模型往往只能看到當前 profile 掛載的文件系統。本地 LeRobot 數據集目錄裏既有 meta、任務清單、episode 清單,也有體量很大的 Parquet 與視頻文件。若把整庫路徑丟給模型自行翻找,既容易越權讀大文件,也難快速得到版本、特徵維度、episode 統計等結構化摘要。DeepSeek Harness 通過 profile 插件擴展工具面;dsh-lerobot-dataset-inspector 提供只讀的 lerobot_inspect_dataset,經活動 DSH 文件系統讀取元數據與清單,不打開機器人數據 Parquet、不解碼 MP4,適合在對話前先摸清數據集輪廓。

這是什麼

dsh-lerobot-dataset-inspector 是 Lavalx100 維護的獨立 DSH 插件包(社區目錄分類:客戶端)。它在 profile 中註冊 Cordis 工具 lerobot_inspect_dataset,對 profile 可見的本地 LeRobot v2.0、v2.1、v3.0 數據集做摘要:版本與計數、特徵 shape、可用聚合統計、任務名、episode 長度摘要、數據/視頻文件數量;傳入 episode_index 時可附帶該 episode 的元數據,v3.0 還可包含該 episode 的 per-episode 統計。插件經 ctx.fs 讀元數據與 episode/task manifest,所有路徑仍受當前 profile 文件系統權限約束。

  • 目錄頁:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
  • 源碼:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector
  • 許可證:MIT(package 版本 0.1.0)

核心功能

下面介紹工具實際返回與刻意不做的邊界,均來自項目 README。

  1. 元數據與清單:彙總 LeRobot 版本、feature shapes、任務名稱、episode 長度摘要、統計項是否可用,以及數據/視頻文件計數(掃描有上限,觸頂時結果會標明不完整並給出下界計數)。
  2. 單 episode 詳情:可選 episode_index,輸出該 episode 元數據;v3.0 在該行存有統計時,可帶上 per-episode statistics。
  3. 只讀且 bounded:JSON/JSONL/Parquet 的讀取在文件數、行數、字節與目錄深度上有固定限制;特徵與統計向量輸出最多 16 個值,截斷時標記爲 incomplete。
  4. 不碰原始幀:不校驗機器人幀數值、不解碼視頻;不向模型暴露解碼後的視頻或 Parquet 行內容(除 manifest/元數據路徑上的 bounded 解析)。

實現上,bundle 通過 cordis.patch.yml 插入一條 Cordis 插件行;核心邏輯在 src/index.mjs、src/inspect.mjs,Parquet 解析依賴 pinned 的 hyparquet 1.31.5。

安裝與啓用

環境要求:Node.js ≥ 24.9,DSH >=0.2.2-alpha.2 且 <0.3.0。

在 DSH 源碼檢出目錄或已安裝的 DSH CLI 環境中,將本插件目錄以本地 bundle 形式加入指定 profile:

dsh plugin --profile <profile> add /absolute/path/to/lerobot-dataset-inspector

用該 profile 啓動 DSH 後,對文件系統可見的數據集目錄調用 lerobot_inspect_dataset。卸載時:

dsh plugin --profile <profile> remove dsh-lerobot-dataset-inspector

移除 package 會去掉對應 profile layer。安裝前請自行查看倉庫源碼與 LICENSE;插件以當前 DSH 進程權限運行,僅能訪問 profile 允許的路徑。

典型用法

  1. 按上一節把插件裝進 profile 並啓動 DSH。
  2. 確認目標 LeRobot 數據集目錄已掛載到該 profile 的文件系統(路徑對 Harness 可見)。
  3. 在對話或工具調用中執行 lerobot_inspect_dataset,傳入數據集根目錄;需要某一集詳情時加上 episode_index。
  4. 根據返回的結構化摘要判斷版本、任務、episode 規模與資產清單是否完整;若字段標明 incomplete,說明掃描觸達 README 中的 bounded 限制,而非數據集本身缺失。

README 未給出固定數據集路徑示例;實際參數以 DSH 中該工具的 schema 爲準,目錄必須是當前 profile 可讀路徑。

適用場景與注意

適合:在訓練或標註前快速覈對本地 LeRobot 數據集版本、特徵、任務與 episode 分佈;在不讓模型直接讀大 Parquet/視頻的前提下,爲後續腳本或人工檢查定方向。

注意:

  • 只讀檢查器,不能替代完整數據驗證或可視化。
  • v3.0 的 episode 級統計僅在請求 episode_index 且對應行包含統計時出現。
  • 結果體積受 feature、task、行數與輸出上限約束,元數據較大的數據集會佔用更多上下文(README「Model Experience / KV Cache impact」)。
  • SkillHub 等社區目錄爲獨立站點,與 DeepSeek / 幻方無官方從屬關係;星標與版本以 GitHub 與 package 爲準。

維護者若需跑包內測試(小 fixture,不訪問真實機器人數據集或網絡):

pnpm install --ignore-workspace --ignore-scripts
node --test tests/inspector.test.mjs

結尾

dsh-lerobot-dataset-inspector 把 LeRobot 本地數據集的元數據與清單摘要收進 DSH 工具 lerobot_inspect_dataset,在權限邊界內只讀、bounded 地查看 v2/v3 數據集結構,避免在對話裏直接展開 Parquet 與視頻。進一步參與社區插件可參考 DeepSeek Harness CONTRIBUTING。

  • 目錄:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
  • GitHub:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜