dsh-speed-monitor:在 DSH 面板裏測模型的流式速度

這篇介紹 DSH 插件 dsh-speed-monitor(doraasn 維護,MIT,版本 0.9.8)。它給 DSH 加一個側欄入口,右側面板用 DSH 自己的模型清單對中轉/官方接口做流式測速,默認每分鐘一輪,可同時測多個模型。文章寫清採樣方法(預熱丟棄、3 次取中位數、多模型串行間隔 300ms、失敗記 ok/runs)、指標口徑(ttfb_ms/decode_ms/total_ms/tps_decode/tps_e2e)、配置與存儲路徑,以及 README 裏給出的界面安裝步驟和四個 HTTP 接口。也說明了密鑰從 ~/.dsh/.credentials.yaml 讀取、斷檔處曲線不連線的原因,並提醒插件以當前 DSH 進程權限運行、安裝前先覈對源碼與許可證。

閱讀全文