前言¶
在 DSH 裏做 world-model 相關的調試時,常見的問題比較具體:rollout 目錄裏哪些路徑是 pred、哪些是 gt;幀序列後半段是否變差;pred 和 gt 的差距能不能用數字描述;3D display、pixel/video-gen WM、latent prediction 這幾條路線分別該怎麼命名;最後怎麼把一次觀察沉澱到 skills、wm.yaml 或 eval notes。
已有做法通常是手動看圖、手動算指標、再手動翻日誌。下面介紹 WayneJin0918/dsh-wm。它是 DeepSeek Harness(DSH)的 world-model 工具包,用來 look at a strip、name the route、score the run,並 iterate the research loop。
這是什麼¶
WayneJin0918/dsh-wm 的一句話描述是:A playable world-model toolkit for DeepSeek Harness。它由 WayneJin0918 維護,倉庫爲 WayneJin0918/dsh-wm,許可證爲 MIT,要求 Node >= 18,運行時是 deepseek-ai/deepseek-harness。
它是一個 pure JavaScript DSH bundle,資料說明沒有 prepare / allowBuilds requirement。DSH 的理念是「一切皆插件」,但社區目錄是獨立站點,不應理解爲官方應用商店。
核心功能¶
查看 rollout 幀¶
wm_inspect 會採樣 first / mid / last 或 named indices,寫一個 contact sheet,並返回 luma sketch 以及 color/contrast look。
對比 pred 與 GT¶
wm_view 會寫一個 self-contained HTML page。頁面包含 side-by-side、swipe overlay、abs-diff heatmap、SSIM timeline;當存在 actions.json 時,還會出現 action HUD。
三條 world-model 路線¶
內置路線卡片包括:wm-routes、display-3d、pixel-wm、latent-wm。它們對應 3D display、pixel/video-gen WM、latent prediction。
測量 run¶
wm_rollout_diff 會報告 mean/min SSIM、curve、worst frames 和 diagnosis。打分使用 luminance SSIM + MSE,並且是 pure JS。
發現目錄與摘要日誌¶
wm_discover 報告 layout、paths、frame counts、warnings。wm_summarize 報告 last loss、NaN、early-stop,並給出 hypotheses。
內置知識與診斷¶
wm_knowledge 和 wm_diagnose 提供 technique cards,覆蓋 chunk-AR、memory、KV、exposure bias、revisit、ablation、action following、cache eviction、RSI-in-Harness。
RSI loop¶
skill wm-rsi 使用 DSH trajectory、fork、Creator 和 sunset,用於演進 skills、wm.yaml 和 eval notes。
No-GPU starter path¶
fixtures/sunset 可以從 node cli.js 運行,不需要 checkpoint、cluster 或 GPU。視頻輸入需要 ffmpeg;PNG/PPM folders 不需要。
安裝與啓用¶
先安裝到獨立 profile。下面命令來自已覈實資料:
dsh plugin --profile wm add github:WayneJin0918/dsh-wm
如果目標 profile 是 Web 或 Headless,也可以使用:
dsh plugin --profile web add github:WayneJin0918/dsh-wm
dsh plugin --profile headless add github:WayneJin0918/dsh-wm
如果有本地 checkout,可以使用路徑安裝:
dsh plugin --profile wm add /path/to/dsh-wm
Git installs 不需要 pnpm allowBuilds。需要固定默認時,使用:
github:WayneJin0918/dsh-wm#<sha>
安裝後,先查看配置,再啓動 profile:
dsh --profile wm --dump-config
dsh --profile wm
如果 Web profile 正在運行,添加 bundle 後要先重啓,再開始新會話,以便 skill catalog reload。
典型用法¶
以下命令來自已覈實用法示例。經過上面的安裝與啓用,可以先從 fixtures/sunset 開始。
先跑無 GPU 起點¶
先檢查幀,再生成對比頁,最後做 pred/gt diff:
node cli.js inspect fixtures/sunset --indices first,mid,last
node cli.js view fixtures/sunset
node cli.js diff --pred fixtures/sunset/pred --gt fixtures/sunset/gt
inspect 對應 wm_inspect,會輸出 luma sketch 和 color/contrast look;view 會寫 HTML 對比頁;diff 會報告 SSIM、worst frames 等信息。
發現 run 目錄¶
node cli.js discover fixtures/sunset
node cli.js summarize fixtures/sunset
discover 用於報告目錄結構、路徑、幀數和 warnings;summarize 用於從日誌尾部摘出 last loss、NaN、early-stop 和 hypotheses。
查看路線知識¶
node cli.js knowledge --id wm-routes
node cli.js knowledge --id display-3d
node cli.js knowledge --id pixel-wm
node cli.js knowledge --id latent-wm
做診斷查詢¶
node cli.js diagnose "is Sora a world simulator"
用自然語言提問¶
示例問題包括:
Triage fixtures/sunset. What failed, and is it late-horizon?
Look at first, mid, last — what do the pixels do in the second half?
Is Sora a world simulator
適用場景與注意¶
適合的使用場景包括:在 DSH 中查看 rollout 幀、對比 pred 與 gt、整理 run 目錄、摘要日誌、定位 3D display / pixel WM / latent prediction 路線,以及圍繞 skills、wm.yaml 和 eval notes 做 RSI。
需要注意:
1、運行時要求 Node >= 18。
2、視頻輸入需要 ffmpeg;PNG/PPM folders 不需要。
3、wm.yaml 是 optional manifest,用於聲明 pred / gt / log / metrics / actions。沒有 manifest 時會使用 heuristics;歧義路徑會作爲 candidates/warnings 報告,不會憑空生成。
4、peer dependencies @deepseek-ai/dsh-tools 和 @deepseek-ai/dsh-skill 是 optional。
5、插件以當前 dsh 進程權限運行。安裝前應檢查源碼、依賴與許可證;本資料中許可證爲 MIT。
6、社區目錄是獨立站點,與 DeepSeek / 幻方無官方從屬關係,不應寫成官方應用商店。
鏈接¶
- 社區目錄:WayneJin0918/dsh-wm
- GitHub:WayneJin0918/dsh-wm