前言¶
DeepSeek Harness(DSH)把智能體能力拆成可插拔模塊。日常開發裏,很多步驟並不需要大模型生成長文,而是要在給定上下文上做快速判斷:工單該分給哪條線、命令是否危險、端點是否還靠譜。若每次都走對話式 LLM,延遲和成本都偏高,結果也不一定是結構化、帶置信度的。
TypeSafe AI 的 Jev(System One 決策模型)面向這類任務:輸入非結構化 state 與類型化問題,一次並行 API 調用返回帶校準概率的類型化答案,且不生成正文。社區維護者 xienda 的 dsh-jev-verify 把 Jev 以一等插件形式掛進 DSH,並提供可選的 auto-guard、對話內可視化,以及可對 live API 跑基準的自檢工具。插件歸類爲「模型推理」,當前在 GitHub 上星標爲 1;源碼與說明見 GitHub 倉庫,目錄頁見 SkillHub。
這是什麼¶
dsh-jev-verify(npm 包名同插件名,當前版本 0.7.2,MIT 許可證)是面向 DeepSeek Harness 的插件。它不替代主對話模型寫代碼或寫文檔,而是暴露 Jev 相關的 agent 工具,並在設計上強調「可驗證、不盲信」:無 mock、無靜默降級;缺少 API Key 時工具與護欄會給出明確失敗或告警,而不是假裝已檢查。
維護者:xienda。
核心功能¶
下面按 README 與 package 描述中已覈實的能力說明。
決策工具 jev_decision¶
對一份 state 和一組類型化問題(choice / score / noul 等)發起 一次 API 調用,返回各題的類型化答案、置信度、概率,以及 token 用量、實測延遲和估算費用。README 給出的公開延遲量級約爲 70–500 ms(隨網絡變化)。
典型問題形態包括:多選一(choice)、打分(score)、是/否類 noul 判斷等,適合分類、路由、分診、評分、護欄前置判斷等高頻小決策。
自檢工具 jev_verify¶
對 live TypeSafe API 運行內置帶標籤基準(README 與 v0.7.2 說明一致爲 27 道 labeled 題,含 guard 相關 verdict),返回實測準確率、中位/p95 延遲、校準與成本等。插件拒絕報告未實際測到的數字;倉庫內另有無額外依賴的 CLI bench/bench.mjs,便於用同一 key 復現。
2026-09-28 的 run 4(發佈 0.7.2 前複測)記錄爲 96.3%(26/27),完整日誌見倉庫 bench/run4.log。
護欄審計 jev_guard_status¶
在開啓 auto-guard 後,用於查看護欄統計:攔截次數、受保護工具列表、閾值、預算等,便於審計 guard 行爲是否透明、可計數。
可選 auto-guard(autoGuard.enabled)¶
需在配置中 顯式 opt-in。在 shell 類工具(如 bash / pwsh / run_code 等)執行前後掛兩層邏輯:
- Safety(pre-execute):先用確定性黑名單攔截明顯破壞性命令(如
rm -rf /、格式化磁盤、刪庫、憑證外泄等,免費);仍顯風險的命令再由 Jev 做風險 noul 判斷,超過denyThreshold則拒絕並給出原因;Jev 不可用時報錯 fail-open 並帶警告,不會靜默放行卻假裝已檢。 - Loop(post-execute):對連續相同工具、長輸出等模式做 stall 判斷;若判定停滯,向後續請求注入非阻塞建議並進入冷卻,而不是硬阻斷。
README 記載的實測示例(2026-09-21):PowerShell 的 remove-item -Recurse … 被確定性規則攔住;而「永久清空 staging 並刪光所有錶行」類自然語言意圖在命令執行前由 Jev 以約 91% 置信度攔截(閾值 0.8)。
對話內展示與設置¶
v0.7.1 起,各工具結果可攜帶 presentationMeta(decision / overview / guard / verify 等),在會話裏渲染決策卡片、護欄看板、基準報告,而非僅 raw 文本。完整選項可在 Settings > Plugins > Plugin configuration > Jev 配置:憑證、工具開關、auto-guard 全塊、dashboard 等。倉庫說明 npm test 爲 19 個用例通過。
啓動穩定性¶
package 描述寫明:註冊項隔離(quarantined),單點失敗只降級某一特性,不應拖垮整個 profile。
安裝與啓用¶
環境要求:Node >= 20,dsh >= 0.1.5-rc.2。
官方安裝命令如下(勿自行拼接 github:owner/repo 形式):
dsh plugin --profile web add dsh-jev-verify
隨後在 $DSH_HOME/profiles/<profile>/cordis.patch.yml 增加 loader 條目,例如啓用 auto-guard:
- insert:
- id: jev-verify
name: dsh-jev-verify
config:
autoGuard:
enabled: true # opt-in auto-guard
修改後重啓對應 profile。若使用插件市場 UI,需先安裝 dshmarket(dsh plugin --profile web add dshmarket),再在 Settings > 插件市場 一鍵安裝(市場安裝會完成上述兩步)。SkillHub 爲社區目錄站點,與 DeepSeek / 幻方無官方從屬關係。
API Key¶
在 https://console.typesafe.ai/keys 申請免費 key,任選其一:
- 啓動環境中
export TYPESAFE_API_KEY=... - 插件設置卡片中的 credentials
- 在插件 config 裏設置
apiKey
可選環境變量:TYPESAFE_BASE_URL(默認 https://api.typesafe.ai/v1)、TYPESAFE_MODEL(默認 jev-latest)。
典型用法¶
通過自然語言讓 Agent 調用¶
README 示例:讓 Agent 對工單文本使用 jev_decision,並指定 department(choice)、is_urgent(noul)、severity(score)等問題,要求彙報答案與置信度。
也可隨時請求 jev_verify 確認端點健康,或 jev_guard_status 查看護欄狀態。
直接工具調用形狀¶
下面 JSON 結構來自 README,表示 state 與 questions 字段(節選):
{
"state": "I was double-charged for my subscription and I want a refund.",
"questions": [
{ "name": "department", "type": "choice",
"instructions": "Which team should handle this?",
"criteria": { "billing": "Payment or subscription issues",
"technical": "Bugs or integration problems",
"sales": "Pricing or account questions" } },
{ "name": "is_urgent", "type": "noul",
"instructions": "The message conveys urgency or time-sensitivity" }
]
}
返回中包含逐題 answers、usage、latencyMs、estimatedCostUs 等,便於逐次審計。
本地復現基準(需自行配置 key):
npm run bench
適用場景與注意¶
適合誰:已在 DSH 上跑 agent 循環、需要結構化快判(路由、分診、評分、風險 noul)、並希望用 live 基準與護欄審計降低「口頭承諾不可信」風險的開發者。
背景:Jev 由 TypeSafe AI 發佈(README 稱 2026-09-15 爲首款 System One 模型),定價與速度相對 frontier 對話模型更適合高頻小判斷;具體倍數與單價以 TypeSafe 官方爲準,插件側會在每次 jev_decision 結果裏給出本次調用的用量與估算成本。
安全與權限:插件與 auto-guard 在 當前 dsh 進程權限 下運行;啓用 autoGuard 會在工具執行鏈上介入,但 Jev 不可用時會 fail-open。安裝前請閱讀 源碼 與 MIT 許可證,確認 guarded 工具列表、閾值與預算符合你的環境策略。勿在未審閱的情況下在生產 profile 直接打開破壞性命令路徑。
誠實性設計:無 TYPESAFE_API_KEY 時工具與 guard 會失敗並提示配置;guard 在 API 錯誤時 fail-open 但帶警告,不會假裝已完成 Jev 風險檢查。
結尾¶
dsh-jev-verify 把 Jev 的並行類型化決策、live 27 題基準自檢和可選兩層 auto-guard 收進 DSH 插件形態,並強調每次調用的延遲、用量與護欄可審計。若你在 Harness 裏做 agent 護欄或快判路由,可按上文命令安裝、配置 Key 與 cordis.patch.yml,再用 jev_verify 對當前 key 與網絡環境做一次實測對照。