Flink SQL 行列转换:UNNEST 展开、LISTAGG 聚合与 JSON 数组处理 「我的数据空间」实时计算实践笔记 · Flink SQL 系列Flink SQL 行列转换使用 UNNEST 将一行转换为多行-- 创建输入表CREATETABLEinput_table(idINT,names ARRAYSTRING)WITH(...);-- 使用 UNNEST 展开数组SELECTid,nameFROMinput_tableCROSSJOINUNNEST(names)AST(name);也可以用 Hive 的 explode 函数需先加载 Hive 函数模块-- 加载 Hive 函数模块后才能用 explode / collect_list 等 Hive 内置函数LOADMODULE hiveWITH(hive-version3.1.3);createtablesourceTable(names ARRAYVARCHAR)with(...);createtablesinkTable(nameVARCHAR)with(...);insertintosinkTableselectnamefromsourceTable,lateraltable(explode(names))asT(name);使用 LISTAGG 将多行聚合成一行SELECTid,LISTAGG(value,, )ASaggregated_valuesFROMyour_tableGROUPBYid;使用 collect_list 将多行聚合成一个 ArraySELECTid,collect_list(value)ASaggregated_valuesFROMyour_tableGROUPBYid;使用 collect_set 将多行聚合为一个 Array并去重SELECTid,collect_set(value)ASaggregated_valuesFROMyour_tableGROUPBYid;JsonArray 字符串展开-- 用 UDF 把 JSON 数组字符串转成 ARRAYSTRINGCREATEFUNCTIONJsonArrayToListAScom.example.udf.JsonArrayToList;CREATETABLEinput_table(idINT,names STRING)WITH(connectordatagen);SELECTid,nameFROM(SELECTid,JsonArrayToList(names)asnameArrayFROMinput_table)t1CROSSJOINUNNEST(nameArray)AST(name);本文收录于「我的数据空间」技术库——一套可私有化部署的数据平台(数据集成 / 实时计算 / 数据湖 / 湖仓查询 / 智能问数)。产品介绍见我的数据空间官网,支持私有化部署与 OEM 合作。

相关新闻

最新新闻

无递归预训练循环网络:突破序列建模并行瓶颈

无递归预训练循环网络:突破序列建模并行瓶颈

在深度学习序列建模领域,讨论“循环网络”时,很多人有一个默认判断:RNN 已经过时了,Transformer 才是答案。但最近关于“无递归预训练循环网络”方向的论文在社区里获得不少关注和赞同,这背后其实藏着一个更值得讨论的…

2026/8/27 11:08:05
基于SpringBoot的社区团购系统的设计与实现(毕设源码+文档)

基于SpringBoot的社区团购系统的设计与实现(毕设源码+文档)

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台…

2026/8/27 11:08:05
涌现式迁移:机器人换新硬件后旧数据复用指南

涌现式迁移:机器人换新硬件后旧数据复用指南

换了一台新机器人,原来积累的数据真的只能作废吗?很多团队在硬件升级后,第一反应就是把旧数据归档封存,组织人力重新采集。但近两年机器人学习领域出现了一个值得关注的思路——在新硬件上继续使用旧数据,而且效果并不…

2026/8/27 11:08:05
基于微信小程序的社区老年人健康管理系统(毕设源码+文档)

基于微信小程序的社区老年人健康管理系统(毕设源码+文档)

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台…

2026/8/27 11:08:05
三维扫描技术在家电塑胶件尺寸偏差分析中的实战应用

三维扫描技术在家电塑胶件尺寸偏差分析中的实战应用

1. 从“差不多”到“毫米级”:为什么家电塑胶件必须做尺寸偏差分析? 在制造业,尤其是家电行业,有一个流传已久的段子:产品设计图纸上标注的是“艺术品”,开模后生产出来的是“工艺品”,而最终装…

2026/8/27 11:08:05
SMARC 2.0与i.MX8M Mini:从选型到量产落地全记录

SMARC 2.0与i.MX8M Mini:从选型到量产落地全记录

从去年开始,我一直在帮客户做一款边缘智能网关,核心需求是在小尺寸、低功耗的前提下,把四核A53的性能用起来,同时还要兼顾现场调试的便利性。市面上现成的主板五花八门,可一旦涉及到产品化,最难受的不是选哪…

2026/8/27 11:03:05