《从0到1学习Spark》– 初识Spark SQL
Spark SQL是整个Spark生态系统中最常用的组件
今天小强给大家详情Spark SQL,小强的平常的开发中会经常使用Spark SQL进行数据分析查询操作,Spark SQL是整个Spark生态系统中最常用的组件。这也是为什么很多大公司使用Spark SQL作为大数据分析的关键组件之一。
为什么引入Spark SQL
在Spark的早起版本,为理解决Hive查询在性能方面遇到的挑战,在Spark生态系统引入Shark的新项目。Shark使用Spark而不是MR作为执行引擎来执行Hive查询。Shark是在Hive的代码库上构建的,使用Hive查询编译器来解析Hive查询并生成的笼统的语法树,它会转换为一个具备某些基本优化的逻辑计划。Shark应用了额外的优化手段并创立了一个RDD的物理计划,而后在Spark中执行他们的。
这样Shark就能让Hive查询具备了内存级别的性能,但是Shark有三个问题需要解决:
1、Shark只适合查询Hive表,它无法咋RDD上进行关系查询
2、在Spark程序中将Hive Sql作为字符串运行很容易出错
3、它的Hive优化器是MR创立的,很难讲Spark苦熬占到新的数据源和新的解决模型。
之后Spark社区引入了SparkSql,主要包含DataSet和DataFrame,DataFram相似于关系表,它支持丰富的域特定语言、RDD函数和Sql,DataSet主要是DataSet Api,提供了RDD和DataFrame的Api最佳特性。
Spark SQL架构
Spark Sql是在Spark核心执行引擎之上的一个库,它借助了JDBC、ODBC公开了SQL接口,用于数据仓库应用程序,或者通过命令行控制台进行交互式的查询。
image
任何BI工具都可以连接到Spark SQL,以内存速度执行分析。同时还提供了java、scala、python和R支持的Dataset Api和DataFrame Api。Spark SQL客户可以使用Data Sources Api从各种数据源读取和写入数据,从而创立DataFrame或者DataSet。
从Spark软件栈中Spark SQL还扩展了用于其余的Spark库,SparkSteaming、Structured Streaming、机器学习库和GraphX的DataSet Api、DataFrame Api。
image
创立DataFrame或者DataSet后,即可以额在任何库中使用他们呢,他们可互操作,也可以转换为传统的RDD。
Spark SQL引入了一个名为Catalyst的可扩展优化器,以支持大多数常见的数据源和算法。Catalyst支持增加新的数据源、优化规则和某些领域使用的数据类型Catalyst利用Scala的模式匹配功能来表示规则,它提供了一个用于对树结构进行变幻的通用框架,用来进行分析、规划和运行时代码生成。
Spark SQL的组件
由于Spark SQL是一种相似与SQL的语言,非常容易上手,小强第一次使用就佩服这种简单操作和内存级别的运算速度。为了更好的使用Spark SQL,我们需要深入理解Spark SQL。
Spark SQL中的四大组件:SQL、Data Source Api、DataFrame Api和DataSet Api。
1、Spark SQL可以使用SQL语言向Hive表写入数据和从Hive表读取数据。SQL可以通过JDBC、ODBC或者命令行在java、scala、python和R语言中使用。当在编程语言中使用SQL时,结果会转换为DataFrame。
2、Data Source Api为使用Spark SQL读取和写入数据提供了统一的接口。
3、DataFrame Api让大数据分析工作对各种客户更为简单易行。这个Api收到了R和Python中DataFrame的启发,但是它被设计用于大规模数据集的分布式解决,以支持现代大数据分析。当然了,DataFrame可以看作是对现有RDD Api的扩展,也是对RDD的之上的一种笼统。
4、DataSet Api结合了RDD和DataFrame的最大优点。DataSet会使用编码器将JVM对象转换为用Spark的二进制格式存储的Dataset表形式。
Dataset Api及其子集DataFrame Api将取代RDD Api成为主流的 APi。由于它通过Catalyst中进行的优化提供了更高的性能。
小结
小强详情了Spark社区为什么引入Spark SQL、Spark SQL的整体架构以及Spark SQL包含的四大组件及其含义。今天算是带领大家入门Spark SQL,后续小强将会深入详情Dataset和DataFrame,以及Spark SQL优化的实践干货。
【转发】和【关注】是对小强最大的支持!!!
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 《从0到1学习Spark》– 初识Spark SQL