DeepSeek Harness 全模態插件:接入 Agnes 看圖與生圖能力

前言

DeepSeek Harness (DSH) 的理念是“一切皆插件”。在開發代理時,標準的 DeepSeek 適配器通常只處理文本,無法直接處理圖片輸入或輸出。要在 DSH 代理中實現“看圖”或“生圖”能力,通常需要編寫自定義的後端服務。wumu1111111/dsh-agnes-omni 插件解決了這個問題,它將 Agnes 的全模態模型作爲工具集成到 DSH 環境中,讓代理具備圖像理解與生成能力,並打通了“在對話中直接發送圖片”的鏈路。

這是什麼

wumu1111111/dsh-agnes-omni 是一個爲 DeepSeek Harness (DSH) 設計的插件。它通過 DSH 的 Bundle 機制接入 Agnes AI 的免費全模態模型(包括 agnes-2.5-flash 視覺模型和 agnes-image-2.1-flash 圖像模型)。該插件不包含任何密鑰,所有鑑權通過 DSH 憑據服務動態解析,符合 DSH 的模塊化安全設計。

核心功能

插件主要提供三個核心組件:

  1. agnes_vision(工具):提供圖像理解能力。支持看圖、OCR 識別、場景識別和圖表分析。該工具將圖片交給 Agnes 模型,返回文字描述。
  2. agnes_image(工具):提供文本到圖像和圖像到圖像(圖生圖)的編輯能力。用戶可以通過提示詞生成圖片,或上傳參考圖進行修改。
  3. 視覺橋(bridge):這是一個技術組件,用於打通對話中的圖片流。它允許代理在對話中接收圖片塊,並在發送給文本適配器之前,將其解碼保存到本地路徑,替換爲文本標記,從而觸發 agnes_vision 進行分析。

安裝與啓用

該插件是一個標準的 DSH Bundle,安裝到指定的 profile 即可生效。在終端中執行以下命令:

dsh plugin --profile <profile> add github:WUMU1111111/dsh-agnes-omni

安裝後,該插件會自動通過 DSH 的 Cordis Patch 機制註冊上述工具和視覺橋。

配置密鑰

插件本身不包含任何密鑰。它通過 DSH 的憑據服務讀取 AGNES_API_KEY。你需要在運行 DSH 的環境中配置該密鑰,有以下兩種方式:

  1. 環境變量:
    export AGNES_API_KEY=sk-xxxxxxxxxxxxxxxxxxxx
  1. 配置文件:
    編輯 $DSH_HOME/.credentials.yaml 文件,添加:
    AGNES_API_KEY: sk-xxxxxxxxxxxxxxxxxxxx
注意:密鑰不應提交到代碼倉庫中。

典型用法

安裝並配置完成後,代理即可使用以下能力:

  1. 看圖:在對話中直接粘貼或拖拽圖片發送。視覺橋會自動處理圖片,代理隨後調用 agnes_vision 進行分析並給出文字回覆。也可以直接提供圖片的本地路徑或 URL。
  2. 生圖:對代理下達指令,例如“生成一張……的圖”。代理會調用 agnes_image 生成圖片,並將結果下載保存到當前會話的工作區中。
  3. 圖生圖:提供參考圖的路徑,並說明需要修改的內容。代理會根據參考圖和指令生成新圖片。
  4. 提示詞優化:建議使用英文提示詞,並按照 [主體]+[場景]+[風格]+[光線]+[構圖]+[質量] 的結構描述,以獲得更穩定的生成效果。

可選配置

視覺橋負責攔截圖片消息,它需要指定一個目標 Provider 來聲明 image 輸入模態。默認情況下,它指向 deepseek-official。

如果你需要修改路由,可以在配置中指定:

- id: agnes-vision-bridge
  name: dsh-agnes-omni/bridge
  config:
    targetProvider: deepseek-official

注意事項

  • 安全性:插件源碼與倉庫中不包含任何密鑰,所有請求的鑑權頭均來自運行時的憑據解析。
  • 圖片存儲:圖片會按內容哈希(sha256)落盤在會話工作區根目錄的 .agnes/ 文件夾下,同圖只寫入一次。
  • 節點回退:如果連接主站不可達,插件會自動回退到國內節點 api.agnes-ai.cn。

結尾

wumu1111111/dsh-agnes-omni 插件爲 DSH 代理開發提供了低成本的全模態接入方案。通過它,開發者無需維護獨立的視覺後端,即可在對話流中直接處理圖片。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜