基于SparkSQL的海量数据仓库设计与实践

SparkSQL近年来以更强的性能优势正逐步取代Hive在数据仓库领域强势地位，在奇虎360公司同样得到了大范围的推广使用。为了进一步提供提升SparkSQL的性能、扩展SparkSQL多数据源的解决能力，360整合了ES、Kylin、Luence等开源组件，最终实现了一套统一的OLAP平台。本文奇虎360高级工程师李振炜将和我们分享SparkSQL的那些坑和整合ES、Kylin的设计思路以及借助Luence实现的海量数据即席查询的技术方案。

李振炜，2015年毕业后加入奇虎360系统部大数据团队，负责Spark分布式计算平台及相关服务的开发与维护，完成了整个公司hive作业向Spark的迁移，设计并实现基于SparkSQL的数据仓库，有丰富的海量数据场景下Spark改进调优经验。