批解决ETL已死,Kafka才是数据解决的未来?

作者 : 开心源码 本文共629个字,预计阅读时间需要2分钟 发布时间: 2022-05-12 共255人阅读

在 QCon 旧金山会议上,Neha Narkhede 做了“ETL 已死,而实时流长存”的演讲,并探讨了企业级数据解决领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流解决平台能够提供灵活且统一的框架,支持数据转换和解决的现代需求。

Narkhede 是 Confluent 的联合创始人和 CTO,在演讲中,他首先阐述了在过去的十年间,数据和数据系统的重要变化。该领域的传统功能包括提供联机事务解决(online transaction processing,OLTP)的操作性数据库以及提供在线分析解决(online analytical processing,OLAP)的关系型数据仓库。来自各种操作性数据库的数据会以批解决的方式加载到数据仓库的主模式中,批解决运行的周期可能是每天一次或者两次。这种数据集成过程通常称为抽取 – 转换 – 加载(extract-transform-load,ETL)。

最近的少量数据发展趋势推动传统的 ETL 架构发生了巨大的变化:

单服务器的数据库正在被各种分布式数据平台所取代,这种平台在整个公司范围内运行;

除了事务性数据之外,现在有了类型更多的数据源,比方日志、传感器、指标数据等;流数据得到了普遍性增长,在速度方面比每日的批解决有了更快的业务需求。

这些趋势所造成的后果就是传统的数据集成方式最终看起来像一团乱麻,比方组合自己设置的转换脚本、使用企业级中间件如企业服务总线(ESB)和消息队列(MQ)以及像 hadoop 这样的批解决技术。

批解决ETL已死,Kafka才是数据解决的未来?

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 批解决ETL已死,Kafka才是数据解决的未来?

发表回复