Flink及Storm、Spark主流流框架比较,究竟谁会更胜一筹?
引言
随着大数据时代的来临,大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品 – Apache Flink做了调研,今天与大家分享一下。Apache Flink(以下简称flink) 是一个旨在提供‘一站式’ 的分布式开源数据解决框架。是不是听起来很像spark?没错,两者都希望提供一个统一功能的计算平台给客户。尽管目标非常相似,但是flink在实现上和spark存在着很大的区别,flink是一个面向流的解决框架,输入在flink中是无界的,流数据是flink中的头等公民。说到这里,大家肯定觉得flink和storm有几分类似,的确是这样。那么有spark和storm这样成熟的计算框架存在,为什么flink还能占有一席之地呢?今天我们就从流解决的角度将flink和这两个框架进行少量分析和比较。

一:本文的流框架基于的实现方式
本文涉及的流框架基于的实现方式分为两大类。第一类是Native Streaming,这类引擎中所有的data在到来的时候就会被立即解决,一条接着一条(HINT: 狭隘的来说是一条接着一条,但流引擎有时会为提高性能缓存一小部分data而后一次性解决),其中的代表就是storm和flink。第二种则是基于Micro-batch,数据流被切分为一个一个小的批次, 而后再一一被引擎解决。这些batch一般是以时间为单位进行切分,单位一般是‘秒‘,其中的典型代表则是spark了,不管是老的spark DStream还是2.0以后推出的spark structured streaming都是这样的解决机制;另外一个基于Micro-batch实现的就是storm trident,它是对storm的更高层的笼统,由于以batch为单位,所以storm trident的少量解决变的简单且高效。

二: 流框架比较的关键指标
从流解决的角度将flink与spark和storm这两个框架进行比较,会主要关注以下几点,后续的比照也主要基于这几点开展:
• 功能性(Functionality)– 能否能很好处理流解决功能上的痛点 , 比方event time和out of order data。
• 容错性(Fault Tolerance) – 在failure之后是否恢复到故障之前的状态,并输出一致的结果;此外容错的代价也是越低越好,由于其直接影响性能。 • 吞吐量(throughputs)& 延时(latency) – 性能相关的指标,高吞吐和低推迟某种意义上是不可兼得的,但好的流引擎应能兼顾高吞吐&低延时。
功能性(Functionality)
1 Event time&Window Operation
1.1Event time• event time – 指数据或者者事件真正发生时间 , 比方客户点击网页时产生一条点击事件的数据,点击时间就是这条数据固有的event time。 • processing time – 指计算框架解决这条数据的时间。 (具体关于时间的定义可以参看flink文档 http://t.cn/RaTnsdy。)
spark DStream和storm 1.0以前版本往往都折中地使用processing time来近似地实现event time相关的业务。显然,使用processing time模拟event time必然会产生少量误差, 特别是在产生数据堆积的时候,误差则更显著,甚至导致计算结果不可用。
在使用event time时,自然而然需要处理由网络推迟等因素导致的迟到或者者乱序数据的问题。为理解决这个问题, spark、storm及flink都参考streaming 102 (http://t.cn/RbQCUmJ)引入了watermark和lateness的概念。
watermark: 是引擎解决事件的时间进度,代表一种状态,一般随着数据中的event time的增长而增长。比方 watermark(t)代表整个流的event time解决进度已经到达t, 时间是有序的,那么streaming不应该会再收到timestamp t’ < t的数据,而只会接受到timestamp t’ >= t的数据。 假如收到一条timestamp t’ < t的数据, 那么就说明这条数据是迟到的。
lateness: 表示可以容忍迟到的程度,在lateness可容忍范围内的数据还会参加计算,超过的会被丢弃。
1.2Window Operation
下面主要比较在使用window的操作中,spark structured streaming 和flink对event time解决机制的不同。
flink 首先,我们结合图来看flink, 时间轴从左往右增大。当watermark WM处于时 间窗口区间内时,即WM ∈ [start, end] , event time落在窗口范围内的任何乱序数据都会被接受;随着WM的增长并超过了窗口的结束时间,但还未超过可容忍的lateness时间范围,即WM ∈ (window_end,window_end+ lateness], 这时乱序数据依然可以被接受; 只有当WM超过 window_end+lateness, 即WM ∈ (window_end+ lateness, ∞), 迟到的数据将会被丢弃。

fiink中watermark的计算也比较灵活,可以选择build-in的(如最大时间戳),也可以通过集成接口自己设置实现。此外,客户可以选择周期性升级或者者事件触发升级watermark。
spark 首先,spark中watermark是通过上一个batch最大的timestamp再减去lateness得到的,即watermark = Max(last batch timestamps) – lateness。当数据的event time大于watermark时,数据会被接受,否则不管这条数据属于哪个窗口都会被丢弃。细节请参考spark文档 (http://t.cn/RaTnvVQ)。
下面来比较一下两者实现细节上的不同:
①lateness定义: 在spark中,迟到被定义为data的event time和watermark的比较结果,当data的event time < watermark时,data被丢弃;flink中只有在watermark > window_end + lateness的时候,data才会被丢弃。
②watermark升级: spark中watermark是上个batch中的max event time,存在推迟;而在flink中是可以做到每条数据同步升级watermark。
③window触发: flink中window计算会触发一次或者屡次,第一次在watermark >= window_end后立刻触发(main fire),接着会在迟到数据到来后进行增量触发。spark只会在watermark(包含lateness)过了window_end之后才会触发,尽管计算结果一次性正确,但触发比flink起码多了一个lateness的推迟。
上面三点可见flink在设计event time解决模型还是较优的:watermark的计算实时性高,输出推迟低,而且接受迟到数据没有spark那么受限。不光如此,flink提供的window programming模型非常的灵活,不但支持spark、storm没有的session window,而且只需实现其提供的WindowAssigner、Trigger、Evictor就能创造出符合自身业务逻辑的window,功能非常强大。
2 SQL API
目前flink相比spark,对streaming sql的支持还是比较初级的。在当前最新1.2版本中,仅支持Selection、Projection、Union、Tumble,不支持Aggregation、 Join、Top N、 Sort。计划中1.3版本将支持 Window Aggregation(sum、max、 min、avg), 但仍然不支持Distinct。相比flink,当前最新版本的spark structured streaming仅仅不支持Top N、Distinct。
3 Kafka Source Integration
flink对于kafka的兼容性非常好,支持kafka 0.8、0.9、0.10;相反,spark structured streaming只支持kafka0.10或者更高版本。
4 Interoperation with Static Data
spark底层对static batch data和streaming data有共同的rdd笼统,完美兼容互操作。而flink中DataSet 和 DataStream是完全独立的,不可以直接交互。
此外,flink还可以运行storm的topology,带来较强的移植性。另外一个有趣的功能是可以自由调整job latency and throughputs的取舍关系,比方需要high throughputs的程序可以牺牲latency来取得更大的throughputs。
容错性(Fault Tolerance)
spark依赖checkpoint机制来进行容错,只需batch执行到doCheckpoint操作前挂了,那么该batch就会被完整的重新计算。spark可以保证计算过程的exactly once(不包含sink的exactly once)。
storm的容错通过ack机制实现,每个bolt或者spout解决完成一条data后会发送一条ack消息给acker bolt。当该条data被所有节点都解决过后,它会收到来自所有节点ack, 这样一条data解决就是成功的。storm可以保证数据不丢失,但是只能达到at least once语义。此外,由于需要每条data都做ack,所以容错的开销很大。storm trident是基于micro¬batched实现了exactly once语义。
flink使用Chandy-Chandy-Lamport Algorithm 来做Asynchronous Distributed Snapshots(异步分布式快照),其本质也是checkpoint。如下图,flink定时往流里插入一个barrier(隔栏),这些barriers把数据分割成若干个小的部分,当barrier流到某个operator时,operator立即会对barrier对应的一小部分数据做checkpoint并且把barrier传给下游(checkpoint操作是异步的,并不会打断数据的解决),直到所有的sink operator做完自己checkpoint后,一个完整的checkpoint才算完成。当出现failure时,flink会从最新完整的checkpoint点开始恢复。

flink的checkpoint机制非常轻量,barrier不会打断streaming的流动,而且做checkpoint操作也是异步的。其次,相比storm需要ack每条data,flink做的是small batch的checkpoint,容错的代价相对要低很多。最重要的是flink的checkpoint机制能保证exactly once。
吞吐量和推迟(Throughputs& Latency)
1 .1吞吐量(throughputs)
spark是mirco-batch级别的计算,各种优化做的也很好,它的throughputs是最大的。但是需要提一下,有状态计算(如updateStateByKey算子)需要通过额外的rdd来维护状态,导致开销较大,对吞吐量影响也较大。
storm的容错机制需要对每条data进行ack,因而容错开销对throughputs影响巨大,throughputs下降甚至可以达到70%。storm trident是基于micro-batch实现的,throughput中等。
flink的容错机制较为轻量,对throughputs影响较小,而且拥有图和调度上的少量优化机制,使得flink可以达到很高 throughputs。
下图是flink官网给出的storm和flink的benchmark,我们可以看出storm在打开ack容错机制后,throughputs下降非常显著。而flink在开启checkpoint和关闭的情况下throughputs变化不大,说明flink的容错机制的确代价不高。比照官网的benchmark,我们也进行了throughputs的测试,实测结果是flink throughputs是storm的3.5倍,而且在解除了kafka集群和flink集群的带宽瓶颈后,flink自身又提高了1.6倍。

1.2推迟(latency)
spark基于micro-batch实现,提高了throughputs,但是付出了latency的代价。一般spark的latency是秒级别的。
storm是native streaming实现,可以轻松的达到几十毫秒级别的latency,在几款框架中它的latency是最低的。storm trident是基于micro-batch实现的,latency较高。
flink也是native streaming实现,也可以达到百毫秒级别的latency。
下图是flink官网给出的和storm的latency比照benchmark。storm可以达到平均5毫秒以内的latency,而flink的平均latency也在30毫秒以内。两者的99%的data都在55毫秒latency内解决完成,体现都很优秀。

三:总 结
综合比照spark、storm和flink的功能、容错和性能(总结如下图)

不难发现, flink是一个设计良好的框架,它不但功能强大,而且性能出色。此外它还有少量比较好设计,比方优秀的内存管理和流控。但是,flink目前成熟度较低,还存在着不少问题,比方 SQL支持比较初级;无法像storm一样在不中止任务的情况下动态调整资源;不能像spark一样提供很好的streaming和static data的交互操作等。对于这些问题,flink社区还在积极的跟进,相信在更多公司和贡献者的共同努力下,flink会发展的越来越好。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Flink及Storm、Spark主流流框架比较,究竟谁会更胜一筹?