面试时Hive常问的问题

1.hive有哪些优化？

数据倾斜

• 空值引发的数据倾斜

实际业务中有些大量的null值或者一些无意义的数据参与到计算作业中，表中有大量的null值，如果表之间进行join操作，就会有shuffle产生，这样所有的null值都会被分配到一个reduce中，必然会产生数据倾斜。

解决方案：

第一种：可以直接不让null值参与join操作，即不让null值有shuffle阶段。

第二种：因为null值参与shuffle时的hash结果是一样的，那么我们可以给null值随机赋值，这样它们的hash结果就不一样，就会进到不同的reduce中。

• 不同数据类型引发的数据倾斜

对于两个表join，表a中需要join的字段key为int，表b中key字段既有string类型也有int类型。当按照key进行两个表的join操作时，默认的Hash操作会按int类型的id进行分配，这样所有的string类型都被分配成同一个id，结果就是所有的string类型的字段进入到一个reduce中，引发数据倾斜。

解决方案：

如果key字段既有string类型也有int类型，默认的hash就都会按int类型类分配，那我们直接把int类型都转为string类型就好了，这样key字段都为string，hash时就按照string类型分配了。

• 不可拆分大文件引发的数据倾斜

解决方案：

这种数据倾斜问题没有什么好的解决方案，只能将使用GZIP压缩等不支持文件分割的文件转为bzip和zip等支持文件分割的压缩方式。

所以，我们在对文件进行压缩时，为避免因不可拆分大文件而引发数据读取的倾斜，在数据压缩的时候可以采用bzip2和Zip等支持文件分割的压缩算法。

2.什么情况下会出现笛卡尔积？

1. 两表直接连接，没有任何条件，形成了一张表，会产生笛卡尔积。
2. on条件连接表中非唯一字段时，结果集出现笛卡尔积（局部笛卡尔积）
3. 左连接在on条件为非唯一字段时，会出现局部笛卡尔积。

3.hive常用的窗口函数有哪些？

LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行的值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

 row_number():从1开始，按照顺序，生成分组内记录的序列,row_number()的值不会存在重复,当排序的值相同时,按照表中记录的顺序进行排列;通常用于获取分组内排序第一的记录;获取一个session中的第一条refer等。

这篇好文章是转载于：学新通技术网