dsh-session-repacker:把 DSH 会话日志重打包为官方两帧形态,旧会话打开提速约 6 倍
# 前言 如果你用 DSH 跑过长会话,大概率遇到过这种情况:点开一个旧会话,要等上好几秒才有反应。问题出在存储层——DSH 的 JSONL 会话后端每次写入批处理都会单独压缩成一个 zstd 帧再追加到文件尾部,一个长会话动辄上万个帧;而读取时必须逐帧解压,后端又没有 seek 式后缀读取,无论只要尾部还是全部,都得解码整个文件。 帧数是历史写入定形的,事后无法自己收缩。`kkishapppy/dsh-session-repacker` 就是针对这个问题:把散落的万帧日志重打包成官方原生形态,实测最大会话打开耗时从约 661ms 降到约 126ms。
阅读全文