前言¶
DeepSeek Harness (DSH) 的理念是“一切皆插件”。在開發代理時,標準的 DeepSeek 適配器通常只處理文本,無法直接處理圖片輸入或輸出。要在 DSH 代理中實現“看圖”或“生圖”能力,通常需要編寫自定義的後端服務。wumu1111111/dsh-agnes-omni 插件解決了這個問題,它將 Agnes 的全模態模型作爲工具集成到 DSH 環境中,讓代理具備圖像理解與生成能力,並打通了“在對話中直接發送圖片”的鏈路。
這是什麼¶
wumu1111111/dsh-agnes-omni 是一個爲 DeepSeek Harness (DSH) 設計的插件。它通過 DSH 的 Bundle 機制接入 Agnes AI 的免費全模態模型(包括 agnes-2.5-flash 視覺模型和 agnes-image-2.1-flash 圖像模型)。該插件不包含任何密鑰,所有鑑權通過 DSH 憑據服務動態解析,符合 DSH 的模塊化安全設計。
核心功能¶
插件主要提供三個核心組件:
agnes_vision(工具):提供圖像理解能力。支持看圖、OCR 識別、場景識別和圖表分析。該工具將圖片交給 Agnes 模型,返回文字描述。agnes_image(工具):提供文本到圖像和圖像到圖像(圖生圖)的編輯能力。用戶可以通過提示詞生成圖片,或上傳參考圖進行修改。- 視覺橋(bridge):這是一個技術組件,用於打通對話中的圖片流。它允許代理在對話中接收圖片塊,並在發送給文本適配器之前,將其解碼保存到本地路徑,替換爲文本標記,從而觸發
agnes_vision進行分析。
安裝與啓用¶
該插件是一個標準的 DSH Bundle,安裝到指定的 profile 即可生效。在終端中執行以下命令:
dsh plugin --profile <profile> add github:WUMU1111111/dsh-agnes-omni
安裝後,該插件會自動通過 DSH 的 Cordis Patch 機制註冊上述工具和視覺橋。
配置密鑰¶
插件本身不包含任何密鑰。它通過 DSH 的憑據服務讀取 AGNES_API_KEY。你需要在運行 DSH 的環境中配置該密鑰,有以下兩種方式:
- 環境變量:
export AGNES_API_KEY=sk-xxxxxxxxxxxxxxxxxxxx
- 配置文件:
編輯$DSH_HOME/.credentials.yaml文件,添加:
AGNES_API_KEY: sk-xxxxxxxxxxxxxxxxxxxx
注意:密鑰不應提交到代碼倉庫中。
典型用法¶
安裝並配置完成後,代理即可使用以下能力:
- 看圖:在對話中直接粘貼或拖拽圖片發送。視覺橋會自動處理圖片,代理隨後調用
agnes_vision進行分析並給出文字回覆。也可以直接提供圖片的本地路徑或 URL。 - 生圖:對代理下達指令,例如“生成一張……的圖”。代理會調用
agnes_image生成圖片,並將結果下載保存到當前會話的工作區中。 - 圖生圖:提供參考圖的路徑,並說明需要修改的內容。代理會根據參考圖和指令生成新圖片。
- 提示詞優化:建議使用英文提示詞,並按照
[主體]+[場景]+[風格]+[光線]+[構圖]+[質量]的結構描述,以獲得更穩定的生成效果。
可選配置¶
視覺橋負責攔截圖片消息,它需要指定一個目標 Provider 來聲明 image 輸入模態。默認情況下,它指向 deepseek-official。
如果你需要修改路由,可以在配置中指定:
- id: agnes-vision-bridge
name: dsh-agnes-omni/bridge
config:
targetProvider: deepseek-official
注意事項¶
- 安全性:插件源碼與倉庫中不包含任何密鑰,所有請求的鑑權頭均來自運行時的憑據解析。
- 圖片存儲:圖片會按內容哈希(sha256)落盤在會話工作區根目錄的
.agnes/文件夾下,同圖只寫入一次。 - 節點回退:如果連接主站不可達,插件會自動回退到國內節點
api.agnes-ai.cn。
結尾¶
wumu1111111/dsh-agnes-omni 插件爲 DSH 代理開發提供了低成本的全模態接入方案。通過它,開發者無需維護獨立的視覺後端,即可在對話流中直接處理圖片。
- 插件目錄:wumu1111111/dsh-agnes-omni
- GitHub 倉庫:wumu1111111/dsh-agnes-omni