学习大数据，肯定要掌握这些核心技术

目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、解决分析或者可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。

01 大数据生命周期

想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群870097548，欢迎想学习，想转行的，进阶中你加入学习。

图1展现了一个典型的大数据技术栈。底层是基础设备，涵盖计算资源、内存与存储和网络互联，具体体现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理，包括文件系统、数据库和相似YARN的资源管理系统。

而后是计算解决层，如hadoop、MapReduce和Spark，以及在此之上的各种不同计算范式，如批解决、流解决和图计算等，包括衍生出编程模型的计算模型，如BSP、GAS 等。数据分析和可视化基于计算解决层。分析包括简单的查询分析、流分析以及更复杂的分析(如机器学习、图计算等)。查询分析多基于表结构和关系函数，流分析基于数据、事件流以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法，如图、矩阵、迭代计算和线性代数。

一般意义的可视化是对分析结果的展现。但是通过交互式可视化，还可以探究性地提问，使分析取得新的线索，形成迭代的分析和可视化。基于大规模数据的实时交互可视化分析以及在这个过程中引入自动化的因素是目前研究的热点。

有2个领域垂直打通了上述的各层，需要整体、协同地看待。一是编程和管理工具，方向是机器通过学习实现自动最优化、尽量无需编程、无需复杂的配置。另一个领域是数据安全，也是贯穿整个技术栈。除了这两个领域垂直打通各层，还有少量技术方向是跨了多层的，例如“内存计算”事实上覆盖了整个技术栈。

02 大数据技术生态

大数据的基本解决流程与传统数据解决流程并无太大差异，主要区别在于：因为大数据要解决大量、非结构化的数据，所以在各解决环节中都可以采用并行解决。目前，Hadoop、MapReduce和Spark等分布式解决方式已经成为大数据解决各环节的通用解决方法。

Hadoop是一个能够让客户轻松架构和使用的分布式计算平台。客户可以轻松地在Hadoop上开发和运行解决海量数据的应用程序。Hadoop 是一个数据管理系统，作为数据分析的核心，汇集了结构化和非结构化的数据，这些数据分布在传统的企业数据栈的每一层。

Hadoop也是一个大规模并行解决框架，拥有超级计算能力，定位于推动企业级应用的执行。Hadoop又是一个开源社区，主要为处理大数据的问题提供工具和软件。尽管Hadoop提供了很多功能，但依然应该把它归类为多个组件组成的Hadoop生态圈，这些组件包括数据存储、数据集成、数据解决和其余进行数据分析的专门工具。

图2 展现了Hadoop 的生态系统，主要由HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive等核心组件构成，另外还包括Sqoop、Flume等框架，用来与其余企业融合。同时，Hadoop 生态系统也在不断增长，新添加Mahout、Ambari、Whirr、BigTop 等内容，以提供升级功能。

低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS 和MapReduce 组件却让其一度陷入困境——批解决的工作方式让其只适用于离线数据解决，在要求实时性的场景下毫无用武之地。因而，各种基于Hadoop的工具应运而生。为了减少管理成本，提升资源的利用率，有当下众多的资源统一管理调度系统，例如Twitter 的Apache Mesos、Apache 的YARN、Google 的Borg、腾讯搜搜的Torca、Facebook Corona(开源)等。

Apache Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用Linux Containers 来隔离职务，支持多种资源计划分配(内存和CPU)。提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark 等。YARN 又被称为MapReduce 2.0，借鉴Mesos，YARN 提出了资源隔离处理方案Container，提供Java 虚拟机内存的隔离。比照MapReduce 1.0，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker 和TaskTracker。在YARN平台上可以运行多个计算框架，如MR、Tez、Storm、Spark等。

基于业务对实时的需求，有支持在线解决的Storm、Cloudar Impala、支持迭代计算的Spark 及流解决框架S4。Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流解决平台，多用于实时计算并升级数据库。Storm也可被用于“连续计算”(Continuous Computation)，对数据流做连续查询，在计算时就将结果以流的形式输出给客户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。Cloudera Impala是由Cloudera开发，一个开源的Massively Parallel Processing(MPP)查询引擎。

与Hive 相同的元数据、SQL语法、ODBC 驱动程序和客户接口(HueBeeswax)，可以直接在HDFS 或者HBase 上提供快速、交互式SQL 查询。Impala是在Dremel的启发下开发的，不再使用缓慢的Hive+MapReduce 批解决，而是通过与商用并行关系数据库中相似的分布式查询引擎(由Query Planner、Query Coordinator 和Query Exec Engine这3部分组成)，可以直接从HDFS 或者者HBase 中用SELECT、JOIN 和统计函数查询数据，从而大大降低了推迟。

Hadoop社区正努力扩展示有的计算模式框架和平台，以便处理现有版本在计算性能、计算模式、系统构架和解决能力上的诸多不足，这正是Hadoop2.0 版本“ YARN”的努力目标。各种计算模式还可以与内存计算模式混合，实现高实时性的大数据查询和计算分析。混合计算模式之集大成者当属UC Berkeley AMP Lab 开发的Spark生态系统，如图3所示。Spark 是开源的类Hadoop MapReduce的通用的数据分析集群计算框架，用于构建大规模、低延时的数据分析应用，建立于HDFS之上。

Spark提供强大的内存计算引擎，几乎涵盖了所有典型的大数据计算模式，包括迭代计算、批解决计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)以及图计算(GraphX)。Spark 使用Scala 作为应用框架，采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop 不同的是，Spark 和Scala 紧密集成，Scala 像管理本地collective 对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

另外，基于性能、兼容性、数据类型的研究，还有Shark、Phoenix、Apache Accumulo、Apache Drill、Apache Giraph、Apache Hama、Apache Tez、Apache Ambari 等其余开源处理方案。估计未来相当长一段时间内，主流的Hadoop平台改进后将与各种新的计算模式和系统共存，并相互融合，形成新一代的大数据解决系统和平台。

03 大数据采集与预解决

在大数据的生命周期中，数据采集处于第一个环节。根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学试验系统。对于不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，体现为数据的异构性。对多个异构的数据集，需要做进一步集成解决或者整合解决，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析解决提供统一的数据视图。

针对管理信息系统中异构数据库集成技术、Web 信息系统中的实体识别技术和DeepWeb集成技术、传感器网络数据融合技术已经有很多研究工作，获得了较大的进展，已经推出了多种数据清洗和质量控制工具，例如，美国SAS公司的Data Flux、美国IBM 公司的Data Stage、美国Informatica 公司的Informatica Power Center。

04 大数据存储与管理

传统的数据存储和管理以结构化数据为主，因而关系数据库系统(RDBMS)可以一统天下满足各类应用需求。大数据往往是半结构化和非结构化数据为主，结构化数据为辅，而且各种大数据应用通常是对不同类型的数据内容检索、交叉比对、深度挖掘与综合分析。面对这类应用需求，传统数据库无论在技术上还是功能上都难以为继。

因而，近几年出现了oldSQL、NoSQL 与NewSQL 并存的局面。总体上，按数据类型的不同，大数据的存储和管理采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。针对这类大数据，通常采用新型数据库集群。

它们通过列存储或者行列混合存储以及粗粒度索引等技术，结合MPP(Massive Parallel Processing)架构高效的分布式计算模式，实现对PB 量级数据的存储和管理。这类集群具备高性能和高扩展性特点，在企业分析类应用领域已取得广泛应用;第2类主要面对的是半结构化和非结构化数据。

应对这类应用场景，基于Hadoop开源体系的系统平台更为擅长。它们通过对Hadoop生态体系的技术扩展和封装，实现对半结构化和非结构化数据的存储和管理;第3类面对的是结构化和非结构化混合的大数据，因而采用MPP 并行数据库集群与Hadoop 集群的混合来实现对百PB 量级、EB量级数据的存储和管理。

一方面，用MPP 来管理计算高质量的结构化数据，提供强大的SQL和OLTP型服务;另一方面，用Hadoop实现对半结构化和非结构化数据的解决，以支持诸如内容检索、深度挖掘与综合分析等新型应用。这类混合模式将是大数据存储和管理未来发展的趋势。

05 大数据计算模式与系统

计算模式的出现有力推动了大数据技术和应用的发展，使其成为目前大数据解决最为成功、最广为接受使用的主流大数据计算模式。然而，现实世界中的大数据解决问题复杂多样，难以有一种单一的计算模式能涵盖所有不同的大数据计算需求。

研究和实际应用中发现，因为MapReduce主要适合于进行大数据线下批解决，在面向低推迟和具备复杂数据关系和复杂计算的大数据问题时有很大的不适应性。因而，近几年来学术界和业界在不断研究并推出多种不同的大数据计算模式。

所谓大数据计算模式，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层笼统(abstraction)或者模型(model)。例如，MapReduce 是一个并行计算笼统，加州大学伯克利分校著名的Spark系统中的“分布内存笼统RDD”，CMU 著名的图计算系统GraphLab 中的“图并行笼统”(Graph Parallel Abstraction)等。

传统的并行计算方法，主要从体系结构和编程语言的层面定义了少量较为底层的并行计算笼统和模型，但因为大数据解决问题具备很多高层的数据特征和计算特征，因而大数据解决需要更多地结合这些高层特征考虑更为高层的计算模式。

根据大数据解决多样性的需求和以上不同的特征维度，目前出现了多种典型和重要的大数据计算模式。与这些计算模式相适应，出现了很多对应的大数据计算系统和工具。因为单纯形容计算模式比较笼统和空洞，因而在形容不同计算模式时，将同时给出相应的典型计算系统和工具，如表1所示，这将有助于对计算模式的了解以及对技术发展示状的把握，并进一步有利于在实际大数据解决应用中对合适的计算技术和系统工具的选择使用。

06 大数据分析与可视化

在大数据时代，人们迫切希望在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，进而实现数据的最终变现。与传统的在线联机分析解决OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现，如图4所示。因此与传统的OLAP相比较，基于机器学习的大数据分析具备自己独特的特点。

(1)迭代性：因为用于优化问题通常没有闭式解，因此对模型参数确定并非一次能够完成，需要循环迭代屡次逐渐逼近最优值点。

(2)容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时屡次迭代的特性也允许在循环的过程中产生少量错误，模型的最终收敛不受影响。

(3)参数收敛的非均匀性：模型中少量参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。

这些特点决定了理想的大数据分析系统的设计和其余计算系统的设计有很大不同，直接应用传统的分布式计算系统应用于大数据分析，很大比例的资源都白费在通信、等待、协调等非有效的计算上。

传统的分布式计算框架MPI(message passing interface，信息传递接口)尽管编程接口灵活功能强大，但因为编程接口复杂且对容错性支持不高，无法支撑在大规模数据上的复杂操作，研究人员转而开发了一系列接口简单容错性强的分布式计算框架服务于大数据分析算法，以MapReduce、Spark和参数服务器ParameterServer等为代表。

分布式计算框架MapReduce将对数据的解决归结为Map和Reduce两大类操作，从而简化了编程接口并且提高了系统的容错性。但是MapReduce受制于过于简化的数据操作笼统，而且不支持循环迭代，因此对复杂的机器学习算法支持较差，基于MapReduce的分布式机器学习库Mahout需要将迭代运算分解为多个连续的Map 和Reduce 操作，通过读写HDFS文件方式将上一轮次循环的运算结果传入下一轮完成数据交换。

在此过程中，大量的训练时间被用于磁盘的读写操作，训练效率非常低效。为理解决MapReduce上述问题，Spark 基于RDD 定义了包括Map 和Reduce在内的更加丰富的数据操作接口。

不同于MapReduce 的是Job 中间输出和结果可以保存在内存中，从而不再需要读写HDFS，这些特性使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大数据分析算法。基于Spark实现的机器学习算法库MLLIB已经显示出了其相对于Mahout 的优势，在实际应用系统中得到了广泛的使用。

近年来，随着待分析数据规模的迅速扩张，分析模型参数也快速增长，对已有的大数据分析模式提出了挑战。例如在大规模话题模型LDA 中，人们期望训练得到百万个以上的话题，因此在训练过程中可能需要对上百亿甚至千亿的模型参数进行升级，其规模远远超出了单个节点的解决能力。

为理解决上述问题，研究人员提出了参数服务器(Parameter Server)的概念，如图5所示。在参数服务器系统中，大规模的模型参数被集中存储在一个分布式的服务器集群中，大规模的训练数据则分布在不同的工作节点(worker)上，这样每个工作节点只要要保存它计算时所依赖的少部分参数就可，从而有效处理了超大规模大数据分析模型的训练问题。目前参数服务器的实现主要有卡内基梅隆大学的Petuum、PSLit等。

在大数据分析的应用过程中，可视化通过交互式视觉体现的方式来帮助人们探究和了解复杂的数据。可视化与可视分析能够迅速和有效地简化与提炼数据流，帮助客户交互挑选大量的数据，有助于使用者更快更好地从复杂数据中得到新的发现，成为客户理解复杂数据、展开深入分析不可或者缺的手段。大规模数据的可视化主要是基于并行算法设计的技术，正当利用有限的计算资源，高效地解决和分析特定数据集的特性。

通常情况下，大规模数据可视化的技术会结合多分辨率表示等方法，以取得足够的互动性能。在科学大规模数据的并行可视化工作中，主要涉及数据流线化、任务并行化、管道并行化和数据并行化4 种基本技术。

微软公司在其云计算平台Azure 上开发了大规模机器学习可视化平台(Azure Machine Learning)，将大数据分析任务形式为有向无环图并以数据流图的方式向客户展现，获得了比较好的效果。在国内，阿里巴巴旗下的大数据分析平台御膳房也采用了相似的方式，为业务人员提供的互动式大数据分析平台。