SideSight：文本編碼智能體的視覺側車

文本編碼智能體通常無法直接理解視覺信息。SideSight 爲 DeepSeek Harness 提供了 CLI 優先的視覺側車功能，允許智能體通過兼容 OpenAI 的多模態模型分析截圖、圖表、UI 差異和視頻。它支持文件系統技能和 MCP 服務器（可選），併爲 macOS 提供原生離線 OCR 能力。

核心功能¶

CLI-first vision sidecar：以命令行接口爲交互方式，將視覺能力橋接到文本智能體。
OpenAI-compatible multimodal models：支持配置兼容 OpenAI 格式的多模態模型。
Filesystem skill support：支持作爲文件系統技能直接集成到項目目錄。
MCP server support (optional)：提供可選的 MCP 服務器集成。
Local OCR support (macOS)：在 macOS 上使用原生 Vision 框架進行離線 OCR。

安裝與啓用¶

安裝爲 DSH 插件¶

在 DSH 會話中讓智能體執行安裝，或直接運行命令：

npx @deepseek-ai/dsh plugin --profile web add github:ZhuXinAI/sidesight

更改配置後重啓配置文件：

npx @deepseek-ai/dsh --profile web

在 Web 設置界面找到 SideSight 條目，填入 Base URL、Vision model 和 API key。

安裝爲文件系統技能¶

DeepSeek Harness 會自動從 .dsh/skills/ 或 $DSH_HOME/skills/ 發現技能。

    mkdir -p .dsh/skills

克隆倉庫：

    git clone https://github.com/ZhuXinAI/sidesight .dsh/skills/sidesight

配置與使用¶

模型選擇¶

配置完成後，在發送或粘貼圖片前，必須選擇 DeepSeek (SideSight vision) 提供商。普通文本模型（如 DeepSeek-V4-Flash 或 deepseek-official）不支持圖片輸入，會直接拒絕附件。

API Key 安全¶

API key 字段是隻寫的。已配置的 key 僅在設置界面顯示，不會在聊天記錄或普通工具結果中回顯，也不會被插值進命令文本。

配置文件設置¶

也可以直接在配置文件的 cordis.patch.yml 中設置插件字段：

- update:
    id: sidesight
    config:
      baseUrl: https://provider.example/v1
      apiKey: your-key
      model: your-vision-model

典型用法¶

通過 Shell 命令或指令引導智能體執行視覺任務：

分析截圖原因：

    Look at /path/to/screenshot.png and tell me why the button is disabled.

讀取錯誤文本：

    Read the exact error text from /path/to/error.png.

對比 UI 變化：

    Compare before.png and after.png and list only visible UI differences.

使用本地 OCR：

    Use native offline OCR on /path/to/receipt.png.

注意事項¶

MCP 說明：DSH 插件路徑和文件系統技能路徑都不會啓動 MCP 服務器。
敏感數據：API key 存儲在配置文件中，請將其視爲敏感數據。
權限範圍：插件以當前 DSH 進程權限運行。安裝前應檢查源碼與許可證。
本地 OCR 限制：本地 OCR 功能目前僅支持 macOS。