前言¶
在大模型應用開發中,直接執行模型輸出(eval / shell / SQL / 文件路徑)是風險極高的一類操作。OWASP 將此單列爲 LLM05 Improper Output Handling。如果代碼中存在將 AI 輸出直接拼接進代碼執行上下文的邏輯,相當於把任意代碼執行權交給了概率模型。
下面介紹 DeepSeek Harness 插件 dsh-ai-output-trust,用於檢測這類風險。
它是什麼¶
這是一個用於檢查代碼有沒有直接執行 AI 輸出的 DSH 插件。作者爲 feely0208,分類屬於 admin-security,許可證爲 MIT。
核心功能¶
插件主要檢測四種明確的高危用法:
- 代碼執行:檢測
eval和new Function執行 AI 輸出。 - Shell 命令:檢測在
exec/spawn中拼接 AI 輸出。 - SQL 注入:檢測在 SQL 查詢中拼接 AI 輸出。
- 路徑穿越:檢測文件路徑來自 AI 輸出可能導致的穿越風險。
識別機制上,插件通過精確命名識別變量,避免將通用的模型調用誤報爲高危。通常建議變量命名符合 ai* / llm* / model* 的模式。
安裝¶
在已安裝 DeepSeek Harness 的環境中,通過以下命令安裝插件:
dsh plugin --profile web add @deepwhale-cn/dsh-ai-output-trust
使用方法¶
安裝後,可以通過 CLI 工具進行操作:
dsh-ai-output-trust --demo # 查看檢出效果
dsh-ai-output-trust --list-rules # 列出規則和依據
dsh-ai-output-trust --html r.html # 生成 HTML 檢查報告
適用場景與注意¶
本插件不做全量數據流分析,僅檢查調用點附近的代碼。它不依賴靜態分析框架,而是通過變量命名規則進行判斷。
使用時需注意:
* 只查四種明確的高危用法,其它間接信任場景不在範圍。
* 必須依賴精確變量命名(如 ai* / llm* / model*),否則可能漏報。
* 本插件是一個工具。使用者必須遵守所在地區法律法規,對使用本項目造成的任何後果自行承擔責任。
總結¶
dsh-ai-output-trust 能夠幫助開發者快速識別 Agent 代碼中的高風險輸出處理方式,配合參數化查詢和路徑規範化,構建更安全的 AI 輸出信任邊界。
插件目錄頁:dsh-plugin.org
GitHub 倉庫:github.com/feely0208/dsh-ai-output-trust