前言¶
在 DSH 里做机器人学习或数据相关对话时,模型往往只能看到当前 profile 挂载的文件系统。本地 LeRobot 数据集目录里既有 meta、任务清单、episode 清单,也有体量很大的 Parquet 与视频文件。若把整库路径丢给模型自行翻找,既容易越权读大文件,也难快速得到版本、特征维度、episode 统计等结构化摘要。DeepSeek Harness 通过 profile 插件扩展工具面;dsh-lerobot-dataset-inspector 提供只读的 lerobot_inspect_dataset,经活动 DSH 文件系统读取元数据与清单,不打开机器人数据 Parquet、不解码 MP4,适合在对话前先摸清数据集轮廓。
这是什么¶
dsh-lerobot-dataset-inspector 是 Lavalx100 维护的独立 DSH 插件包(社区目录分类:客户端)。它在 profile 中注册 Cordis 工具 lerobot_inspect_dataset,对 profile 可见的本地 LeRobot v2.0、v2.1、v3.0 数据集做摘要:版本与计数、特征 shape、可用聚合统计、任务名、episode 长度摘要、数据/视频文件数量;传入 episode_index 时可附带该 episode 的元数据,v3.0 还可包含该 episode 的 per-episode 统计。插件经 ctx.fs 读元数据与 episode/task manifest,所有路径仍受当前 profile 文件系统权限约束。
- 目录页:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
- 源码:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector
- 许可证:MIT(package 版本 0.1.0)
核心功能¶
下面介绍工具实际返回与刻意不做的边界,均来自项目 README。
- 元数据与清单:汇总 LeRobot 版本、feature shapes、任务名称、episode 长度摘要、统计项是否可用,以及数据/视频文件计数(扫描有上限,触顶时结果会标明不完整并给出下界计数)。
- 单 episode 详情:可选
episode_index,输出该 episode 元数据;v3.0 在该行存有统计时,可带上 per-episode statistics。 - 只读且 bounded:JSON/JSONL/Parquet 的读取在文件数、行数、字节与目录深度上有固定限制;特征与统计向量输出最多 16 个值,截断时标记为 incomplete。
- 不碰原始帧:不校验机器人帧数值、不解码视频;不向模型暴露解码后的视频或 Parquet 行内容(除 manifest/元数据路径上的 bounded 解析)。
实现上,bundle 通过 cordis.patch.yml 插入一条 Cordis 插件行;核心逻辑在 src/index.mjs、src/inspect.mjs,Parquet 解析依赖 pinned 的 hyparquet 1.31.5。
安装与启用¶
环境要求:Node.js ≥ 24.9,DSH >=0.2.2-alpha.2 且 <0.3.0。
在 DSH 源码检出目录或已安装的 DSH CLI 环境中,将本插件目录以本地 bundle 形式加入指定 profile:
dsh plugin --profile <profile> add /absolute/path/to/lerobot-dataset-inspector
用该 profile 启动 DSH 后,对文件系统可见的数据集目录调用 lerobot_inspect_dataset。卸载时:
dsh plugin --profile <profile> remove dsh-lerobot-dataset-inspector
移除 package 会去掉对应 profile layer。安装前请自行查看仓库源码与 LICENSE;插件以当前 DSH 进程权限运行,仅能访问 profile 允许的路径。
典型用法¶
- 按上一节把插件装进 profile 并启动 DSH。
- 确认目标 LeRobot 数据集目录已挂载到该 profile 的文件系统(路径对 Harness 可见)。
- 在对话或工具调用中执行
lerobot_inspect_dataset,传入数据集根目录;需要某一集详情时加上episode_index。 - 根据返回的结构化摘要判断版本、任务、episode 规模与资产清单是否完整;若字段标明 incomplete,说明扫描触达 README 中的 bounded 限制,而非数据集本身缺失。
README 未给出固定数据集路径示例;实际参数以 DSH 中该工具的 schema 为准,目录必须是当前 profile 可读路径。
适用场景与注意¶
适合:在训练或标注前快速核对本地 LeRobot 数据集版本、特征、任务与 episode 分布;在不让模型直接读大 Parquet/视频的前提下,为后续脚本或人工检查定方向。
注意:
- 只读检查器,不能替代完整数据验证或可视化。
- v3.0 的 episode 级统计仅在请求
episode_index且对应行包含统计时出现。 - 结果体积受 feature、task、行数与输出上限约束,元数据较大的数据集会占用更多上下文(README「Model Experience / KV Cache impact」)。
- SkillHub 等社区目录为独立站点,与 DeepSeek / 幻方无官方从属关系;星标与版本以 GitHub 与 package 为准。
维护者若需跑包内测试(小 fixture,不访问真实机器人数据集或网络):
pnpm install --ignore-workspace --ignore-scripts
node --test tests/inspector.test.mjs
结尾¶
dsh-lerobot-dataset-inspector 把 LeRobot 本地数据集的元数据与清单摘要收进 DSH 工具 lerobot_inspect_dataset,在权限边界内只读、bounded 地查看 v2/v3 数据集结构,避免在对话里直接展开 Parquet 与视频。进一步参与社区插件可参考 DeepSeek Harness CONTRIBUTING。
- 目录:https://www.skillhub.cn/plugins/Lavalx100/dsh-lerobot-dataset-inspector
- GitHub:https://github.com/Lavalx100/dsh-lerobot-dataset-inspector