Hive函数

collect_list & collect_set

将分组中的某列转为一个数组返回（列转行）

collect_list不去重 collect_set去重

数据样本：

user_name video_name
张三,大唐双龙传
李四,天下无贼
张三,神探狄仁杰
李四,霸王别姬
李四,霸王别姬
王五,机器人总动员
王五,放牛班的春天
王五,盗梦空间

将数据加载到Hive表：

load data local inpath './data' into table 表名 partition (day='20180516');

张三 大唐双龙传  20180516
李四 天下无贼 20180516
张三 神探狄仁杰 20180516
李四 霸王别姬 20180516
李四 霸王别姬 20180516
王五 机器人总动员 20180516
王五 放牛班的春天 20180516
王五 盗梦空间 20180516

按用户分组，取出每个用户每天看过的所有视频的名字：

select username, collect_list(video_name) from 表名 group by username;

张三 ["大唐双龙传","神採秋仁杰"]
李四 ["天下无贼","霸王别姬","霸王别姬"]
王五 ["机器人总动员","放牛班的春天","盗梦空间"]

select username, collect_set(video_name) from 表名 group by username;

张三 ["大唐双龙传","神採秋仁杰"]
李四 ["天下无贼","霸王别姬"]
王五 ["机器人总动员","放牛班的春天","盗梦空间"]

不是分组列却能出现在select中

select username, collect_list(video_name)[0] from 表名 group by username;

张三 大唐双龙传
李四 天下无贼
王五 机器人总动员

将一行复杂的array或者map 拆分成多行（行转列）

命令格式：

LATERAL VIEW [outer] explode(字段) tableAlias AS columnAlias

说明：

刘德华    演员,导演,制片人
李小龙    演员,导演,制片人,幕后,武术指导
李连杰    演员,武术指导
刘亦菲    演员

刘德华 演员
刘德华 导演
刘德华 制片人
李小龙 演员
李小龙 导演
李小龙 制片人
李小龙 幕后
李小龙 武术指导

select
   username,role
from
    ods.ods_actor_data
LATERAL VIEW
    explode(split(userrole,',')) tmpTable as role;

命令格式:

聚合函数 OVER(PARTITION BY 字段 ORDER BY 字段 ROWS BETWEEN 起始 AND 终止)

说明：

命令格式：

参数说明：