Hadoop教程:大数据处理方案

作者 : 开心源码 本文共694个字,预计阅读时间需要2分钟 发布时间: 2022-05-12 共147人阅读

传统方法

在这种方式下,企业将使用一台计算机来存储和解决数据,解决所需的数据,并将其呈现给客户以供分析之用。在这里,数据将存储在RDBMS,如:Oracle数据库、MS SQL Server或者DB2以及可以与数据库交互的复杂软件。

traditional_approach.jpg

局限性

这种方法在标准数据库服务器可以容纳的数据量更少或者解决数据的解决器的极限的情况下工作得很好。但是当涉及四处理大量数据时,通过传统的数据库服务器来解决这些数据的确是一项非常繁琐的任务。

Google的处理方案

谷歌使用MapReduce算法处理了这个问题。该算法将任务划分为多个小部分,并将这些小部分分配给通过网络连接的多台计算机,最后收集结果形成最终的结果数据集。

mapreduce.jpg

上图显示了各种各样的商品硬件,这些硬件可以是单CPU机器,也可以是容量更大的服务器。

Hadoop

Doug Cutting、Mike Cafarella和团队采用了谷歌提供的处理方案,并在2005年启动了一个名为HADOOP 的开源项目,Doug以他儿子的玩具大象命名了这个项目。现在Apache Hadoop是Apache软件基金会的注册商标。

Hadoop使用MapReduce算法运行应用程序,数据在不同的CPU节点上并行解决。简而言之,Hadoop框架有足够的能力开发能够在计算机集群上运行的应用程序,并且能够对大量数据执行完整的统计分析。

hadoop_framework.jpg

原文链接:https://www.tutorialspoint.com/hadoop/hadoop_big_data_solutions.html

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Hadoop教程:大数据处理方案

发表回复