DSH LeRobot Dataset Inspector:在 Harness 里只读查看本地 LeRobot 数据集

前言

在 DSH 里做机器人学习或数据相关对话时,模型往往只能看到当前 profile 挂载的文件系统。本地 LeRobot 数据集目录里既有 meta、任务清单、episode 清单,也有体量很大的 Parquet 与视频文件。若把整库路径丢给模型自行翻找,既容易越权读大文件,也难快速得到版本、特征维度、episode 统计等结构化摘要。DeepSeek Harness 通过 profile 插件扩展工具面;dsh-lerobot-dataset-inspector 提供只读的 lerobot_inspect_dataset,经活动 DSH 文件系统读取元数据与清单,不打开机器人数据 Parquet、不解码 MP4,适合在对话前先摸清数据集轮廓。

这是什么

dsh-lerobot-dataset-inspector 是 Lavalx100 维护的独立 DSH 插件包(社区目录分类:客户端)。它在 profile 中注册 Cordis 工具 lerobot_inspect_dataset,对 profile 可见的本地 LeRobot v2.0、v2.1、v3.0 数据集做摘要:版本与计数、特征 shape、可用聚合统计、任务名、episode 长度摘要、数据/视频文件数量;传入 episode_index 时可附带该 episode 的元数据,v3.0 还可包含该 episode 的 per-episode 统计。插件经 ctx.fs 读元数据与 episode/task manifest,所有路径仍受当前 profile 文件系统权限约束。

  • 目录页:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
  • 源码:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector
  • 许可证:MIT(package 版本 0.1.0)

核心功能

下面介绍工具实际返回与刻意不做的边界,均来自项目 README。

  1. 元数据与清单:汇总 LeRobot 版本、feature shapes、任务名称、episode 长度摘要、统计项是否可用,以及数据/视频文件计数(扫描有上限,触顶时结果会标明不完整并给出下界计数)。
  2. 单 episode 详情:可选 episode_index,输出该 episode 元数据;v3.0 在该行存有统计时,可带上 per-episode statistics。
  3. 只读且 bounded:JSON/JSONL/Parquet 的读取在文件数、行数、字节与目录深度上有固定限制;特征与统计向量输出最多 16 个值,截断时标记为 incomplete。
  4. 不碰原始帧:不校验机器人帧数值、不解码视频;不向模型暴露解码后的视频或 Parquet 行内容(除 manifest/元数据路径上的 bounded 解析)。

实现上,bundle 通过 cordis.patch.yml 插入一条 Cordis 插件行;核心逻辑在 src/index.mjs、src/inspect.mjs,Parquet 解析依赖 pinned 的 hyparquet 1.31.5。

安装与启用

环境要求:Node.js ≥ 24.9,DSH >=0.2.2-alpha.2 且 <0.3.0。

在 DSH 源码检出目录或已安装的 DSH CLI 环境中,将本插件目录以本地 bundle 形式加入指定 profile:

dsh plugin --profile <profile> add /absolute/path/to/lerobot-dataset-inspector

用该 profile 启动 DSH 后,对文件系统可见的数据集目录调用 lerobot_inspect_dataset。卸载时:

dsh plugin --profile <profile> remove dsh-lerobot-dataset-inspector

移除 package 会去掉对应 profile layer。安装前请自行查看仓库源码与 LICENSE;插件以当前 DSH 进程权限运行,仅能访问 profile 允许的路径。

典型用法

  1. 按上一节把插件装进 profile 并启动 DSH。
  2. 确认目标 LeRobot 数据集目录已挂载到该 profile 的文件系统(路径对 Harness 可见)。
  3. 在对话或工具调用中执行 lerobot_inspect_dataset,传入数据集根目录;需要某一集详情时加上 episode_index。
  4. 根据返回的结构化摘要判断版本、任务、episode 规模与资产清单是否完整;若字段标明 incomplete,说明扫描触达 README 中的 bounded 限制,而非数据集本身缺失。

README 未给出固定数据集路径示例;实际参数以 DSH 中该工具的 schema 为准,目录必须是当前 profile 可读路径。

适用场景与注意

适合:在训练或标注前快速核对本地 LeRobot 数据集版本、特征、任务与 episode 分布;在不让模型直接读大 Parquet/视频的前提下,为后续脚本或人工检查定方向。

注意:

  • 只读检查器,不能替代完整数据验证或可视化。
  • v3.0 的 episode 级统计仅在请求 episode_index 且对应行包含统计时出现。
  • 结果体积受 feature、task、行数与输出上限约束,元数据较大的数据集会占用更多上下文(README「Model Experience / KV Cache impact」)。
  • SkillHub 等社区目录为独立站点,与 DeepSeek / 幻方无官方从属关系;星标与版本以 GitHub 与 package 为准。

维护者若需跑包内测试(小 fixture,不访问真实机器人数据集或网络):

pnpm install --ignore-workspace --ignore-scripts
node --test tests/inspector.test.mjs

结尾

dsh-lerobot-dataset-inspector 把 LeRobot 本地数据集的元数据与清单摘要收进 DSH 工具 lerobot_inspect_dataset,在权限边界内只读、bounded 地查看 v2/v3 数据集结构,避免在对话里直接展开 Parquet 与视频。进一步参与社区插件可参考 DeepSeek Harness CONTRIBUTING。

  • 目录:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
  • GitHub:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜