SideSight：文本编码智能体的视觉侧车

文本编码智能体通常无法直接理解视觉信息。SideSight 为 DeepSeek Harness 提供了 CLI 优先的视觉侧车功能，允许智能体通过兼容 OpenAI 的多模态模型分析截图、图表、UI 差异和视频。它支持文件系统技能和 MCP 服务器（可选），并为 macOS 提供原生离线 OCR 能力。

核心功能¶

CLI-first vision sidecar：以命令行接口为交互方式，将视觉能力桥接到文本智能体。
OpenAI-compatible multimodal models：支持配置兼容 OpenAI 格式的多模态模型。
Filesystem skill support：支持作为文件系统技能直接集成到项目目录。
MCP server support (optional)：提供可选的 MCP 服务器集成。
Local OCR support (macOS)：在 macOS 上使用原生 Vision 框架进行离线 OCR。

安装与启用¶

安装为 DSH 插件¶

在 DSH 会话中让智能体执行安装，或直接运行命令：

npx @deepseek-ai/dsh plugin --profile web add github:ZhuXinAI/sidesight

更改配置后重启配置文件：

npx @deepseek-ai/dsh --profile web

在 Web 设置界面找到 SideSight 条目，填入 Base URL、Vision model 和 API key。

安装为文件系统技能¶

DeepSeek Harness 会自动从 .dsh/skills/ 或 $DSH_HOME/skills/ 发现技能。

    mkdir -p .dsh/skills

克隆仓库：

    git clone https://github.com/ZhuXinAI/sidesight .dsh/skills/sidesight

配置与使用¶

模型选择¶

配置完成后，在发送或粘贴图片前，必须选择 DeepSeek (SideSight vision) 提供商。普通文本模型（如 DeepSeek-V4-Flash 或 deepseek-official）不支持图片输入，会直接拒绝附件。

API Key 安全¶

API key 字段是只写的。已配置的 key 仅在设置界面显示，不会在聊天记录或普通工具结果中回显，也不会被插值进命令文本。

配置文件设置¶

也可以直接在配置文件的 cordis.patch.yml 中设置插件字段：

- update:
    id: sidesight
    config:
      baseUrl: https://provider.example/v1
      apiKey: your-key
      model: your-vision-model

典型用法¶

通过 Shell 命令或指令引导智能体执行视觉任务：

分析截图原因：

    Look at /path/to/screenshot.png and tell me why the button is disabled.

读取错误文本：

    Read the exact error text from /path/to/error.png.

对比 UI 变化：

    Compare before.png and after.png and list only visible UI differences.

使用本地 OCR：

    Use native offline OCR on /path/to/receipt.png.

注意事项¶

MCP 说明：DSH 插件路径和文件系统技能路径都不会启动 MCP 服务器。
敏感数据：API key 存储在配置文件中，请将其视为敏感数据。
权限范围：插件以当前 DSH 进程权限运行。安装前应检查源码与许可证。
本地 OCR 限制：本地 OCR 功能目前仅支持 macOS。