零基础学习大数据的路线和方向

大数据本质是：数据挖掘深度和应用广度的结合。对海量数据进行有效的分析和解决，而不单单是数据量大就叫大数据。

随着人们对大数据的认识越来越深入，很多零基础人员看到了大数据的未来，也想学习这个前沿技术，踏入时代的领军行业。但是一直没有一个很好的思路和方向，本文将详细的讲解零基础如何学习大数据。

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师

大数据开发师和大数据架构师必需熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或者平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

【大数据开发学习资料领取方式】：加入大数据技术学习交流群522189307，点击加入群聊，私信管理员就可免费领取

大数据运维师只要理解Hadoop、Spark、Storm等主流大数据平台的核心框架，熟习Hadoop的核心组件：HDFS、MapReduce、Yarn；具有大数据集群环境的资源配置，如网络要求、硬件配置、系统搭建。熟习各种大数据平台的部署方式，集群搭建，故障诊断、日常维护、性能优化，同时负责平台上的数据采集、数据清洗、数据存储，数据维护及优化。熟练使用Flume、Sqoop等工具将外部数据加载进入大数据平台，通过管理工具分配集群资源实现多客户协同使用集群资源。通过灵活、易扩展的Hadoop平台转变了传统的数据库和数据仓库系统架构，从Hadoop部署实施到运行全程的状态监控，保证大数据业务应用的安全性、快速响应及扩展能力！

选择大数据不同阶段职位要求

数据存储阶段：SQL，oracle，IBM等等都有相关的课程，根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。

数据挖掘 清洗 挑选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据解决。学会以上基本可以入门大数据工程师，假如想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。

数据分析：一方面是搭建数据分析框架，比方确定分析思路需要营销、管理等理论知识；还有针对数据分析结论提出有指导意义的分析建议。

产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的升级，而后交由程序员进行修改（快消类进行商品的上下架调整）。

接着再来理解大数据需要掌握那些技术

Hadoop核心

(1) 分布式存储基石：HDFS

HDFS简介 入门演示 构成及工作原了解析：数据块，NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示

(2) 分布式计算基础：MapReduce

MapReduce简介、编程模型、Java API 详情、编程案例详情、MapReduce调优

(3) Hadoop集群资源管家：YARN

YARN基本架构 资源调渡过程 调度算法 YARN上的计算框架

离线计算

(1) 离线日志收集利器：Flume

Flume简介 核心组件详情 Flume实例：日志收集、适宜场景、常见问题。

(2) 离线批解决必备工具：Hive

Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML详情 视图 函数（内置，窗口，自己设置函数） 表的分区、分桶和抽样 优化。

(3) 速度更快的Hive：Impala

Impala在大数据架构中的角色 架构 数据解决过程 一般使用步骤：创立表，分区表，查询等 常用查询演示：统计，连接等、Impala与Hive的比较 常用配置与最佳使用建议（查错，调优等）。

(4) 更快更强更好用的MR：Spark

Scala&Spark简介 基础 Spark编程（计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引）Spark SQL和DataFrame 实例：使用Spark SQL统计页面PV和UV。

实时计算

(1) 流数据集成神器：Kafka

Kafka简介 构成及工作原了解析 4组核心API 生态圈 代码演示：生产并消费行为日志。

(2) 实时计算引擎：Spark Streaming

Spark Streaming简介 工作原了解剖 编写Streaming程序的一般过程 如何部署Streaming程序？ 如何监控Streaming程序？ 性能调优。

(3) 海量数据高速存取数据库：HBase

HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式。

大数据ETL

(1) ETL神器：Sqoop，Kettle

数据同步ETL详情 Kettle常用组件详情 、抽取Mysql数据到Hive实战 Sqoop详情、抽取Hive数据到Mysql实战。

(2) 任务调度双星：Oozie，Azkaban

ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享。

大数据应用与数据挖掘

(1) 大数据全文检索引擎：Elasticsearch

全文检索基础知识，ES安装及初级详情，ES深入了解，使用经验详情。

(2) 数据仓库搭建

为什么要构建大数据平台大数据平台的的经典架构深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介。

(3) 数据可视化

什么是数据可视化，数据可视化常用工具与必备技能介，Tableau和ECharts实操讲解 ECharts详情，知名互金公司可视化经验详情。

(4) 算法详情

详情数据挖掘，机器学习，深度学习的区别，R语言和python的详情，逻辑回归算法的详情与应用，以及主要的推荐算法详情。

最后理解大数据主要的三大就业方向和十大职位

就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

职位：1、ETL研发；2、Hadoop开发；3、可视化（前台展示）工具开发；4、信息架构开发；5、数据仓库研究；6、OLAP开发；7、数据科学研究；8、数据预测（数据挖掘）分析；9、企业数据管理；10、数据安全研究。【大数据开发学习资料领取方式】：加入大数据技术学习交流群522189307，点击加入群聊，私信管理员就可免费领取