基于akka的分步式实时的分布式系统

作者 : 开心源码 本文共845个字,预计阅读时间需要3分钟 发布时间: 2022-05-13 共258人阅读
S4

采用Mapreduce和Actor模型进行实时数据的计算;

S4.png

Storm

采用了拓扑结构,进行数据解决,定义解决流程,Strom用于集群之间的通信,故障的解决,还有维护集群的拓扑关心;数据源Spout,解决着bolt,据传输的tuple;拓扑的设计做到算法和框架的交互;

storm.png

数据传输tuple的载体;
传输的分发厕所及模式

Spark

它是一个基于共享内存的流解决引擎,核心是RDD高度受限的共享内存模型;将一个数据流分解成短小的批解决作业;

spark.png

三大节点

前台解决节点frontend 控制节点master 工作节点backend

四个模块

前台调度模块 调度模块 工作节点模块 资源管理模块

场景

实时计算 批次计算 响应式查询

设计
分布式设计

前台解决节点frontend 控制节点master 工作节点backend
流式计算设计
流式数据进入的数据管道
流程式设计
每一个工作节点的流程规划;

模块

前台节点解决模块:负责流程任务启动前的准备工作,以及工作节点数据流的输入。
通信模块:通过Akka支持的Actor模型的通信机制特点设计,其主要的通信包括有:前台
和调度模块的通信,调度模块和工作节点的通信,工作节点之间的通信。
节点控制模块:主要负责节点资源的控制管理与分发。
后端工作节点解决模块:负责后端实际任务的并发执行和对数据流的计算解决。

Akka容错

Actor工作节点有良好的监控,提供了默认监管策略;对子Actor进行解决,主要动作:
1.中止发生错误的子Actor,
2.重启发生错误的子Actor
3将错误更新到其父Actor解决。假如最终配置的子Actor是交给了根监管者Actor,此时根监管者会按照配置默认的策略解决。


实时数据和历史数据,mapreduce对于流式数据计算的缺点,mapreduce的优点
资源搜索
搜索引擎应对与静态数据,Dataflow流式计算框架,应用于变化频率比较大的动态数据;’
分布式系统设计
系统之间的通信,模块的划分,任务的调度,数据的备份,节点的挂了的解决;

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 基于akka的分步式实时的分布式系统

发表回复