大数据平台计算层需要考虑的多种场景和对应的实现框架参考

大数据计算层是从大量的原始数据中抽取有价值的信息，即数据转换成信息的过程。主要对所输入的各种形式的数据进行加工整理，这一过程包含对数据的收集、存储、加工、分类、归并、计算、排序、转换、检索和传播的演变与推导。大数据计算层包括两大基本因素：数据解决和数据管理。如下图所示：

大数据平台计算层

数据解决是指对数据进行收集整理、组织、存储、维护、检索、传送等操作，该部分也是后续进行数据管理时的必要部分。数据解决涉及的计算比较简单，需要根据业务的需求来编写应用程序加以处理，加工计算会根据具体的业务来定制。而数据管理则比较复杂，是针对数据的爆炸性增长和多种复杂类型进行统一解决。

以下是大数据平台计算层需要考虑的多种场景和对应的实现框架参考。

全量数据的离线批解决计算，计算数据流巨大，响应时间在分钟级，这种业务场景称之为离线批解决计算。实现框架一般采用MapReduce、Hive。

一些数据的交互式查询场景，响应时间在秒级。这种业务场景称之为近实时交互查询。实现框架一般采用Impala。

一些数据的实时查询解决，响应时间在毫秒级。这种业务场景称之为实时解决计算。实现框架一般采用Spark、HBase。

一些数据的逐条或者者时间窗口批解决，响应时间在毫秒级。这种业务场景称之为流式解决计算。实现框架一般采用Storm、Spark Streaming。

全量数据的全文检索查询，响应时间在毫秒级。这种业务场景称之为全文检索查询。实现框架一般采用Solr、ElasticSearch、Lucene。