前言¶
在 DSH 里做 world-model 相关的调试时,常见的问题比较具体:rollout 目录里哪些路径是 pred、哪些是 gt;帧序列后半段是否变差;pred 和 gt 的差距能不能用数字描述;3D display、pixel/video-gen WM、latent prediction 这几条路线分别该怎么命名;最后怎么把一次观察沉淀到 skills、wm.yaml 或 eval notes。
已有做法通常是手动看图、手动算指标、再手动翻日志。下面介绍 WayneJin0918/dsh-wm。它是 DeepSeek Harness(DSH)的 world-model 工具包,用来 look at a strip、name the route、score the run,并 iterate the research loop。
这是什么¶
WayneJin0918/dsh-wm 的一句话描述是:A playable world-model toolkit for DeepSeek Harness。它由 WayneJin0918 维护,仓库为 WayneJin0918/dsh-wm,许可证为 MIT,要求 Node >= 18,运行时是 deepseek-ai/deepseek-harness。
它是一个 pure JavaScript DSH bundle,资料说明没有 prepare / allowBuilds requirement。DSH 的理念是「一切皆插件」,但社区目录是独立站点,不应理解为官方应用商店。
核心功能¶
查看 rollout 帧¶
wm_inspect 会采样 first / mid / last 或 named indices,写一个 contact sheet,并返回 luma sketch 以及 color/contrast look。
对比 pred 与 GT¶
wm_view 会写一个 self-contained HTML page。页面包含 side-by-side、swipe overlay、abs-diff heatmap、SSIM timeline;当存在 actions.json 时,还会出现 action HUD。
三条 world-model 路线¶
内置路线卡片包括:wm-routes、display-3d、pixel-wm、latent-wm。它们对应 3D display、pixel/video-gen WM、latent prediction。
测量 run¶
wm_rollout_diff 会报告 mean/min SSIM、curve、worst frames 和 diagnosis。打分使用 luminance SSIM + MSE,并且是 pure JS。
发现目录与摘要日志¶
wm_discover 报告 layout、paths、frame counts、warnings。wm_summarize 报告 last loss、NaN、early-stop,并给出 hypotheses。
内置知识与诊断¶
wm_knowledge 和 wm_diagnose 提供 technique cards,覆盖 chunk-AR、memory、KV、exposure bias、revisit、ablation、action following、cache eviction、RSI-in-Harness。
RSI loop¶
skill wm-rsi 使用 DSH trajectory、fork、Creator 和 sunset,用于演进 skills、wm.yaml 和 eval notes。
No-GPU starter path¶
fixtures/sunset 可以从 node cli.js 运行,不需要 checkpoint、cluster 或 GPU。视频输入需要 ffmpeg;PNG/PPM folders 不需要。
安装与启用¶
先安装到独立 profile。下面命令来自已核实资料:
dsh plugin --profile wm add github:WayneJin0918/dsh-wm
如果目标 profile 是 Web 或 Headless,也可以使用:
dsh plugin --profile web add github:WayneJin0918/dsh-wm
dsh plugin --profile headless add github:WayneJin0918/dsh-wm
如果有本地 checkout,可以使用路径安装:
dsh plugin --profile wm add /path/to/dsh-wm
Git installs 不需要 pnpm allowBuilds。需要固定默认时,使用:
github:WayneJin0918/dsh-wm#<sha>
安装后,先查看配置,再启动 profile:
dsh --profile wm --dump-config
dsh --profile wm
如果 Web profile 正在运行,添加 bundle 后要先重启,再开始新会话,以便 skill catalog reload。
典型用法¶
以下命令来自已核实用法示例。经过上面的安装与启用,可以先从 fixtures/sunset 开始。
先跑无 GPU 起点¶
先检查帧,再生成对比页,最后做 pred/gt diff:
node cli.js inspect fixtures/sunset --indices first,mid,last
node cli.js view fixtures/sunset
node cli.js diff --pred fixtures/sunset/pred --gt fixtures/sunset/gt
inspect 对应 wm_inspect,会输出 luma sketch 和 color/contrast look;view 会写 HTML 对比页;diff 会报告 SSIM、worst frames 等信息。
发现 run 目录¶
node cli.js discover fixtures/sunset
node cli.js summarize fixtures/sunset
discover 用于报告目录结构、路径、帧数和 warnings;summarize 用于从日志尾部摘出 last loss、NaN、early-stop 和 hypotheses。
查看路线知识¶
node cli.js knowledge --id wm-routes
node cli.js knowledge --id display-3d
node cli.js knowledge --id pixel-wm
node cli.js knowledge --id latent-wm
做诊断查询¶
node cli.js diagnose "is Sora a world simulator"
用自然语言提问¶
示例问题包括:
Triage fixtures/sunset. What failed, and is it late-horizon?
Look at first, mid, last — what do the pixels do in the second half?
Is Sora a world simulator
适用场景与注意¶
适合的使用场景包括:在 DSH 中查看 rollout 帧、对比 pred 与 gt、整理 run 目录、摘要日志、定位 3D display / pixel WM / latent prediction 路线,以及围绕 skills、wm.yaml 和 eval notes 做 RSI。
需要注意:
1、运行时要求 Node >= 18。
2、视频输入需要 ffmpeg;PNG/PPM folders 不需要。
3、wm.yaml 是 optional manifest,用于声明 pred / gt / log / metrics / actions。没有 manifest 时会使用 heuristics;歧义路径会作为 candidates/warnings 报告,不会凭空生成。
4、peer dependencies @deepseek-ai/dsh-tools 和 @deepseek-ai/dsh-skill 是 optional。
5、插件以当前 dsh 进程权限运行。安装前应检查源码、依赖与许可证;本资料中许可证为 MIT。
6、社区目录是独立站点,与 DeepSeek / 幻方无官方从属关系,不应写成官方应用商店。
链接¶
- 社区目录:WayneJin0918/dsh-wm
- GitHub:WayneJin0918/dsh-wm