Visual Summarization Skill:把视频与图片转成通顺的场景描述

前言

做内容归档、无障碍说明或媒体资产管理时,往往手里只有一段 MP4 或几张截图,却要人工逐帧看图写说明。自己写提示词让通用对话模型「描述画面」,输出风格不稳定,也难和固定的报告格式、历史记录查询对齐。下面介绍 SkillHub 社区技能 Visual Summarization Skill(视觉摘要智述技能):对传入的视频片段或图片做 AI 分析,生成一段通顺自然的中文场景描述,并可通过脚本查询云端历史摘要报告。

这是什么

Visual Summarization Skill 是面向 Agent 的通用 SKILL.md 技能包,坐标为 @user_bb47e3e3/visual-summary-analysis,当前 SkillHub 页面版本为 v1.0.7,来源为 community,分类为 knowledge-management,由发布者 user_bb47e3e3 维护。

官方简介:对传入的视频片段/图片内容进行 AI 分析,生成一段通顺自然的场景描述(Performs AI analysis on input video clips/image content and generates a smooth, natural scene description)。技能文档中场景码为 VISUAL_SUMMARY;当用户提供视频/图片并需要内容描述、视觉摘要,或提及「视频摘要」「视觉摘要智述」等意图时,Agent 可按技能说明默认触发本技能。

核心功能

以下能力均来自技能 SKILL.md 与配套脚本说明,未单独核实的细节不展开。

  1. 多模态输入:支持图片、视频、本地文件路径或网络 URL。
  2. 分析维度:场景内容识别、物体识别、行为识别、画面文字提取,并整合为一段流畅的中文描述。
  3. 结构化输出:除自然语言摘要外,技能说明中包含识别/监测结果、建议与报告链接等输出形态;可通过 --detail 控制详细程度(basic / standard / json,默认 json)。
  4. 历史报告查询:用户表达「查看历史摘要报告」「摘要报告清单」等意图时,须通过云端接口拉取列表,禁止从本地记忆或人工汇总冒充清单;对应命令为 python -m scripts.visual_summary_analysis --list。
  5. 身份处理:用户身份由脚本在内部自动关联,技能明确要求不得向用户询问或展示内部身份参数。

技能演示页(技能文档内链接):技能使用介绍。

安装与启用

1、安装 SkillHub CLI(若尚未安装)

先检查是否已安装:

command -v skillhub && skillhub --version

未安装时,可按 SkillHub 官方安装说明执行完整安装(CLI + 默认 Skill):

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash

仅安装 CLI 时:

curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash -s -- --cli-only

2、安装本技能到当前 Agent 的 skills 目录

SkillHub 要求安装时必须用 --dir 指向当前 Agent 识别的 skills 目录,否则默认落在 ./skills/ 可能无法被加载。官方页面给出的安装提示为:参考 SkillHub 安装文档,安装坐标 @user_bb47e3e3/visual-summary-analysis。

示例(将 <skills 目录> 替换为当前环境路径):

skillhub install @user_bb47e3e3/visual-summary-analysis --dir <skills 目录>

常见路径(来自 SkillHub 安装文档):

  • Cursor:~/.cursor/skills/
  • Claude Code:~/.claude/skills/
  • Codex:~/.codex/skills/ 或项目下的 .agents/skills/

安装完成后,按你所用客户端的要求重启或刷新技能列表,使 Agent 能读取技能根目录下的 SKILL.md。

3、脚本运行依赖

技能文档要求 scripts 依赖:

requests>=2.28.0

分析或查询历史报告时,必须在技能根目录下运行 python -m scripts.visual_summary_analysis,不要临时手写替代脚本。

SkillHub 标签标明 requires_api_key=false;具体 API 地址与字段以技能内 references/api_doc.md 为准,需要排查接口或错误码时再查阅该文档。

典型用法

在对话里触发

  1. 上传清晰的图片或视频,或提供可访问的公网 URL。
  2. 说明需要「视频内容描述」「图片摘要」「视觉摘要智述」等;若只要历史清单,使用技能列出的关键词(如「查看历史摘要报告」「摘要报告清单」)。
  3. Agent 按 SKILL.md 在技能根目录调用脚本,向用户展示分析进度、结果与报告链接,不暴露内部身份字段。

命令行示例(技能文档原文)

在已安装的技能根目录执行:

# 分析本地视频片段
python -m scripts.visual_summary_analysis --input /path/to/clip.mp4

# 分析本地图片
python -m scripts.visual_summary_analysis --input /path/to/image.jpg

# 分析网络视频(由 API 服务自动下载)
python -m scripts.visual_summary_analysis --url https://example.com/clip.mp4

# 列出云端历史视觉摘要报告
python -m scripts.visual_summary_analysis --list

# 输出精简报告
python -m scripts.visual_summary_analysis --input clip.mp4 --detail basic

# 保存结果到文件
python -m scripts.visual_summary_analysis --input clip.mp4 --output result.json

常用参数摘要:

参数 含义
--input 本地视频/图片路径
--url 网络视频/图片 URL
--list 历史报告列表(可按技能说明配合日期过滤)
--detail basic / standard / json
--output 可选,结果写入文件
--api-url 可选,自定义 API 服务地址

适用场景与注意

适合谁

  • 需要把短视频、截图快速变成可读中文说明的开发者或内容运营。
  • 希望在 Agent 工作流里统一「看图/看视频 → 摘要 → 可查历史报告」的团队(场景码 VISUAL_SUMMARY)。

输入与格式限制(技能文档)

  • 支持格式:jpg / jpeg / png / mp4 / avi / mov,单文件最大 10MB。
  • 画面需清晰,主体尽量完整、少遮挡;视频片段建议不超过 5 分钟,过长宜分段分析。
  • 网络 URL 无需先下载到本地,由 API 服务拉取(技能说明默认按公网地址处理)。

行为约束

  • 历史报告清单只能走 --list 云端接口,不得从本地 memory 或长期记忆里拼凑。
  • 禁止脱离技能包临时生成分析脚本,应使用 scripts/visual_summary_analysis.py 与 scripts/config.py。

结尾

Visual Summarization Skill 把「视频/图片 → 通顺场景描述」和「云端历史摘要查询」封装进标准 Agent 技能与 Python 入口,适合挂在 Cursor、Claude Code、Codex 等环境的 skills 目录里按需触发。SkillHub 页面当前显示评分 100000、下载 692 次(统计以页面为准)。

  • SkillHub 技能页:https://www.skillhub.cn/skills/user_bb47e3e3/visual-summary-analysis
  • 安装坐标 API 入口:https://api.skillhub.cn/user_bb47e3e3/visual-summary-analysis
  • 安装说明:https://skillhub.cn/install/skillhub.md
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜