数据获取与查询处理:用 DuckDB 对 CSV/JSON/Parquet/Excel 做 SQL 查询

前言

处理数据文件时最常见的痛点是:手上有一份 CSV 或 Excel,想查几行、算个分布,先要写脚本读进内存,格式稍有偏差就报错。临时排查时,为一次查询搭一套环境成本偏高。

下面介绍 SkillHub 上的一个 Skill「数据获取与查询处理」,它把本地数据文件的 SQL 查询封装成一步操作,底层用 DuckDB 引擎执行。

这是什么

「数据获取与查询处理」(坐标 @org-b6kzcl68/chat2duckdb-cloudcba,版本 1.0.0)是一个基于 DuckDB 引擎的数据分析 Skill,定位是:当需要对 CSV、JSON、Parquet、Excel 等数据文件做 SQL 查询、数据分析、数据抽样,或需要带自动纠错的查询执行时使用。

发布方为重庆途光网络传媒有限责任公司,来源标注为 enterprise,SkillHub 分类 data-analysis。页面显示评分 100000,下载 2341 次,安装 0 次,标签 requires_api_key=false,即不需要 API Key。

核心功能

按官方简介,能力集中在四类:

1、多格式数据源查询。支持 CSV、JSON、Parquet、Excel,统一走 SQL 语句。
2、数据分析。在数据文件上直接做聚合、筛选等分析操作,不需要先把数据导入数据库。
3、数据抽样。按需要取部分数据,适合先看结构再全量分析的流程。
4、带自动纠错的查询执行。查询语句有常见错误时,Skill 会尝试修正后重跑,降低试错轮次。

安装与启用

官方页面地址为 https://www.skillhub.cn/skills/org-b6kzcl68/chat2duckdb-cloudcba,API 地址为 https://api.skillhub.cn/org-b6kzcl68/chat2duckdb-cloudcba。

本次编写时上述两个地址均抓取失败,已抓取资料中也没有给出安装命令、目录路径或配置字段。因此这里不提供安装步骤,避免写出未经核实的命令。需要安装时建议先打开官方页面确认当前版本的安装方式,再按页面指引操作。

另外,该 Skill 标签为 requires_api_key=false,从资料看不需要额外申请密钥。

典型用法

官方简介只给出了使用场景的描述,没有提供可直接复现的命令或示例代码;本次抓取页面失败,也无法补充。因此本文不给出示例,需要看具体调用方式的读者请以官方页面为准。

适用场景与注意

适合的场景:手上已有 CSV、JSON、Parquet、Excel 文件,想快速查询或抽样,且愿意用 SQL 表达需求。对数据分析链路有批量、反复查询需求的场景,比每次写脚本更省事。

需要注意的地方:

1、格式支持以官方页面为准,实际能否解析某些 Excel 版本、编码异常的 CSV,需要实测。
2、自动纠错只覆盖常见错误,语法复杂的查询仍可能需要人工调整。
3、页面显示安装数为 0,说明目前使用者少,遇到问题可参考的信息有限。
4、简介提到如需数据分析完整工作流套件(8 模块 36 技能),可在淘宝搜索「AI灵匣」店铺获取完整版,这是付费完整版入口,与本 Skill 功能范围不同。

结尾

这个 Skill 的价值在于把数据文件的 SQL 查询收敛成一步,省去临时写脚本的环节。对经常需要从 CSV、Parquet 等文件直接取数的开发者,值得一试。

官方地址:https://www.skillhub.cn/skills/org-b6kzcl68/chat2duckdb-cloudcba

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜