dsh-switch-cost: 智能體對話成本對比插件

前言

在使用 DeepSeek Harness (DSH) 進行模型推理時,現有的使用插件通常只能回答“這次調用實際花了多少錢”。開發者往往還需要知道:“如果這次流量跑在別的模型或供應商上,成本會是多少”。這個差距就是 dsh-switch-cost 插件要解決的問題。

插件簡介

該插件通過兩次定價來回答上述問題:一次針對當前實際運行的路由,另一次針對價格表中的所有其他路由。它主要用於對比不同模型和供應商之間的 API 成本。

  • 插件名:dsh-switch-cost
  • 作者:xyzs996
  • 分類:模型推理
  • 協議:MIT
  • 核心價值:在本地計算同一會話在多路由下的成本對比,無需人工估算。

安裝與配置

安裝命令如下:

dsh plugin add dsh-switch-cost

運行環境要求

該插件依賴於 sessionProjections 投影註冊表。請確保你的 Assembly(組裝器)正確注入了該依賴,否則插件無法提供功能。

// 示例注入代碼
ctx.inject(['sessionProjections'], ...)

配置項

在配置文件中設置需要對比的備選路由數量。

switch-cost:
  alternatives: 8   # 排序後顯示的備選路由數量,默認爲 8

功能說明

  1. 分時計費:將會話使用量按路由和 UTC 小時摺疊,支持分時定價(如早晚高峯)。
  2. 緩存定價:分別對緩存讀取和緩存寫入進行計費。
  3. 路由對比:輸出當前路由的實際成本,並列出所有備選路由的成本及與實際的差異百分比。
  4. 價格表導出:通過 /prices 端點導出當前的價格表。

投影狀態

插件註冊了一個名爲 switchCost 的投影單元,其狀態包含路由的使用量桶(按小時分組),包含 input、cacheRead、cacheWrite、output 四類 Token。

工具接口

插件註冊了一個名爲 switch_cost 的工具。調用它無需參數,返回當前會話的總 Token 數、實際路由成本以及所有備選路由的成本對比。

返回數據結構示例:

{
  tokens: 100, // 整個會話的桶總計數
  actual: [{ route, tokens, cost, costText, ratesApplied, pricedAs, source, checkedAt, layer }],
  actualTotal, actualTotalText,
  alternatives: [{ route, cost, costText, versusActual, source, checkedAt, layer }],
  unpriced?: [{ route, tokens }],
  caveats: string[]
}

價格表來源

價格表包含兩個層級,優先級爲 Vendor(供應商):
1. layer: 'vendor':直接讀取供應商官網在 checkedAt 時刻的定價頁面。
2. layer: 'models.dev':來自社區目錄(通常有延遲且不支持分時定價)。

使用示例

在 Agent 的工具列表中,switch_cost 工具會自動提供會話成本對比結果。模型可以讀取該工具的輸出,並展示給用戶。

示例輸出文本(由模型渲染):

Ran on deepseek-official/deepseek-v4-flash: $0.0416 (peak and off-peak hours both billed)

Same tokens, other routes:
  deepseek-official/deepseek-v4-flash-vision-exp  $0.0416  +0%
  openai/gpt-5.6-luna  $0.0513  +23%
  deepseek-official/deepseek-v4-pro  $0.1260  +203%

導出價格表

通過 HTTP 請求訪問 dsh-switch-cost/prices 即可獲取詳細的價格表,每行數據都包含 source(來源)和 checkedAt(檢查日期)。

注意事項

  1. Token 計數來源:Token 數量來自實際運行的模型,而不是預測模型的計數。不同模型的分詞方式不同,因此不能簡單地將 A 模型的 Token 數量套用到 B 模型的價格上進行預測。
  2. 緩存定價差異:不同供應商的緩存策略和定價不同,緩存定價僅供參考。
  3. 計費模式:價格僅基於 Pay-as-you-go(按量付費)的列表價格,不包含訂閱計劃、預付費套餐或免費層級。
  4. 數據時效性:價格數據是快照,僅反映發佈時的定價,使用前建議覈對來源日期。

結尾

dsh-switch-cost 插件爲 DSH 用戶提供了在本地計算多模型成本對比的能力,特別適合需要優化推理成本或進行供應商比價的場景。它通過投影和工具的方式,將複雜的定價邏輯封裝在插件內部,模型無需關心具體實現即可獲取成本信息。

  • GitHub 倉庫:https://github.com/xyzs996/dsh-switch-cost
  • 社區目錄:https://www.skillhub.cn/plugins/xyzs996/dsh-switch-cost
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜