Spark优化：小文件合并的步骤
我们知道，大部分spark计算都是在内存中完成的，所以spark的瓶颈一般来自于集群（standalone， yarn， mesos， k8s）的资源紧张，cpu，网络带宽，内存。spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和cpu。有时候我们也需要做一些优化调整来减少内存占用，例如将小文件进行合并的操作。
一、问题现象
我们有一个15万条总数据量133mb的表，使用select * from bi.dwd_tbl_conf_info全表查询耗时3min，另外一个500万条总数据量6.3g的表ods_tbl_conf_detail，查询耗时23秒。两张表均为列式存储的表。
大表查询快，而小表反而查询慢了，为什么会产生如此奇怪的现象呢？
二、问题探询
数据量6.3g的表查询耗时23秒，反而数据量133mb的小表查询耗时3min，这非常奇怪。我们收集了对应的建表语句，发现两者没有太大的差异，大部分为string，两表的列数也相差不大。
create table if not exists `bi`。`dwd_tbl_conf_info` （ `corp_id` string comment ‘’， `dept_uuid` string comment ‘’， `user_id` string comment ‘’， `user_name` string comment ‘’， `uuid` string comment ‘’， `dtime` date comment ‘’， `slice_number` int comment ‘’， `attendee_count` int comment ‘’， `mr_id` string comment ‘’， `mr_pkg_id` string comment ‘’， `mr_parties` int comment ‘’， `is_mr` tinyint comment ‘r’， `is_live_conf` tinyint comment ‘’ ） create table if not exists `bi`。`ods_tbl_conf_detail` （ `id` string， `conf_uuid` string， `conf_id` string， `name` string， `number` string， `device_type` string， `j_time` bigint， `l_time` bigint， `media_type` string， `dept_name` string， `updatetime` bigint， `createtime` bigint， `user_id` string， `useragent` string， `corp_id` string， `account` string ）
因为两张表均为很简单的select查询操作，无任何复杂的聚合join操作，也无udf相关的操作，所以基本确认查询慢的应该发生的读表的时候，我们将怀疑的点放到了读表操作上。通过查询两个查询语句的dag和任务分布，我们发现了不一样的地方。
查询快的表，查询时总共有68个任务，任务分配比如均匀，平均7~9s左右，而查询慢的表，查询时总共1160个任务，平均也是9s左右。如下图所示：
至此，我们基本发现了猫腻所在。大表6.3g但文件个数小，只有68个，所以很快跑完了。而小表虽然只有133mb，但文件个数特别多，导致产生的任务特别多，而由于单个任务本身比较快，大部分时间花费在任务调度上，导致任务耗时较长。
那如何才能解决小表查询慢的问题呢？
三、业务调优
那现在摆在我们面前就存在现在问题：
为什么小表会产生这么小文件 已经产生的这么小文件如何合并
带着这两个问题，我们和业务的开发人员聊了一个发现小表是业务开发人员从原始数据表中，按照不同的时间切片查询并做数据清洗后插入到小表中的，而由于时间切片切的比较小，导致这样的插入次数特别多，从而产生了大量的小文件。
那么我们需要解决的问题就是2个，如何才能把这些历史的小文件进行合并以及如何才能保证后续的业务流程中不再产生小文件，我们指导业务开发人员做了以下优化：
使用insert overwrite bi.dwd_tbl_conf_info select * from bi.dwd_tbl_conf_info合并下历史的数据。由于dli做了数据一致性保护，overwrite期间不影响原有数据的读取和查询，overwrite之后就会使用新的合并后的数据。合并后全表查询由原来的3min缩短到9s内完成。 原有表修改为分区表，插入时不同时间放入到不同分区，查询时只查询需要的时间段内的分区数据，进一步减小读取数据量。
自动驾驶诉讼：Waymo胜诉 Uber称遗憾
谷歌收购加拿大AR眼镜制造商North
超薄纳米片巧妙实现无枝晶锂金属负极
无功补偿装置装设在变压器高低压侧的区别
Type-C双电池快充解决方案
Spark优化：小文件合并的步骤
nanoWatt XLP技术在单片机上的引用
正科无刷直流电机怎么样 高效和长寿命兼具
利用AI技术将有助于增强NASA天基通信网络的效能
在虚拟现实方面，微软没有动摇标签
小米6下月发布 售价不忘初心
125W D类超低音功率放大器,125W class d power amplifier
汽车ECT车载系统电路PCB芯片电子元件填充加固保护点胶应用
SEPIC Backlight LED Driver,SEP
GGII：2022锂电产业投资“图谱”
【今晚开播】社区说｜多才多艺: 探索 Android 应用更多可能
速升！苹果iOS10.3.1修复重大WiFi安全漏洞
ZigBee_GPRS的温湿度监测系统
烟雾报警器有哪些常见的类型和功能基本概述
5G究竟为运营商贡献了多少收入?
一、问题现象
我们有一个15万条总数据量133mb的表，使用select * from bi.dwd_tbl_conf_info全表查询耗时3min，另外一个500万条总数据量6.3g的表ods_tbl_conf_detail，查询耗时23秒。两张表均为列式存储的表。
大表查询快，而小表反而查询慢了，为什么会产生如此奇怪的现象呢？
二、问题探询
数据量6.3g的表查询耗时23秒，反而数据量133mb的小表查询耗时3min，这非常奇怪。我们收集了对应的建表语句，发现两者没有太大的差异，大部分为string，两表的列数也相差不大。
create table if not exists `bi`。`dwd_tbl_conf_info` （ `corp_id` string comment ‘’， `dept_uuid` string comment ‘’， `user_id` string comment ‘’， `user_name` string comment ‘’， `uuid` string comment ‘’， `dtime` date comment ‘’， `slice_number` int comment ‘’， `attendee_count` int comment ‘’， `mr_id` string comment ‘’， `mr_pkg_id` string comment ‘’， `mr_parties` int comment ‘’， `is_mr` tinyint comment ‘r’， `is_live_conf` tinyint comment ‘’ ） create table if not exists `bi`。`ods_tbl_conf_detail` （ `id` string， `conf_uuid` string， `conf_id` string， `name` string， `number` string， `device_type` string， `j_time` bigint， `l_time` bigint， `media_type` string， `dept_name` string， `updatetime` bigint， `createtime` bigint， `user_id` string， `useragent` string， `corp_id` string， `account` string ）
因为两张表均为很简单的select查询操作，无任何复杂的聚合join操作，也无udf相关的操作，所以基本确认查询慢的应该发生的读表的时候，我们将怀疑的点放到了读表操作上。通过查询两个查询语句的dag和任务分布，我们发现了不一样的地方。
查询快的表，查询时总共有68个任务，任务分配比如均匀，平均7~9s左右，而查询慢的表，查询时总共1160个任务，平均也是9s左右。如下图所示：
至此，我们基本发现了猫腻所在。大表6.3g但文件个数小，只有68个，所以很快跑完了。而小表虽然只有133mb，但文件个数特别多，导致产生的任务特别多，而由于单个任务本身比较快，大部分时间花费在任务调度上，导致任务耗时较长。
那如何才能解决小表查询慢的问题呢？
三、业务调优
那现在摆在我们面前就存在现在问题：
为什么小表会产生这么小文件 已经产生的这么小文件如何合并
带着这两个问题，我们和业务的开发人员聊了一个发现小表是业务开发人员从原始数据表中，按照不同的时间切片查询并做数据清洗后插入到小表中的，而由于时间切片切的比较小，导致这样的插入次数特别多，从而产生了大量的小文件。
那么我们需要解决的问题就是2个，如何才能把这些历史的小文件进行合并以及如何才能保证后续的业务流程中不再产生小文件，我们指导业务开发人员做了以下优化：
使用insert overwrite bi.dwd_tbl_conf_info select * from bi.dwd_tbl_conf_info合并下历史的数据。由于dli做了数据一致性保护，overwrite期间不影响原有数据的读取和查询，overwrite之后就会使用新的合并后的数据。合并后全表查询由原来的3min缩短到9s内完成。 原有表修改为分区表，插入时不同时间放入到不同分区，查询时只查询需要的时间段内的分区数据，进一步减小读取数据量。
自动驾驶诉讼：Waymo胜诉 Uber称遗憾
谷歌收购加拿大AR眼镜制造商North
超薄纳米片巧妙实现无枝晶锂金属负极
无功补偿装置装设在变压器高低压侧的区别
Type-C双电池快充解决方案
Spark优化：小文件合并的步骤
nanoWatt XLP技术在单片机上的引用
正科无刷直流电机怎么样 高效和长寿命兼具
利用AI技术将有助于增强NASA天基通信网络的效能
在虚拟现实方面，微软没有动摇标签
小米6下月发布 售价不忘初心
125W D类超低音功率放大器,125W class d power amplifier
汽车ECT车载系统电路PCB芯片电子元件填充加固保护点胶应用
SEPIC Backlight LED Driver,SEP
GGII：2022锂电产业投资“图谱”
【今晚开播】社区说｜多才多艺: 探索 Android 应用更多可能
速升！苹果iOS10.3.1修复重大WiFi安全漏洞
ZigBee_GPRS的温湿度监测系统
烟雾报警器有哪些常见的类型和功能基本概述
5G究竟为运营商贡献了多少收入?