大数据必需掌握七大核心技术概念

大数据概念

大数据到底是什么?很多人可能依然有些混淆，本文让我们来看看大数据的少量主要的定义。首先要注意的是，行业内的所有人都普遍认同，大数据不只是更多的数据。

(1)最初的大数据

大数据的特征可以用很多词来形容。2001年Doug Laney最先提出“3V”模型， 包括数量 (Volume)、速度(Velocity)和种类(Variety)。在那以后，业界很多人把3V扩展到了11V，还包括有效性、真实性、价值和可见性等。

(2)大数据：技术

为什么十多年前的老术语忽然被放在聚光灯下?这不仅是由于我们现在拥有比十年前更多的数量、速度和种类。而是由于大数据受到新技术的推动，特别是快速发展的开源技术，例如Hadoop和其余存储和解决数据的NoSQL方式。

假如你准备入坑大数据开发，可以关注ID:IT资讯科技 会有最前沿的学习资讯

这些新技术的客户需要一个术语来将它们区别于以前的技术，于是大数据成了他们的最佳选择。假如你去参与大数据会议，你一定会发现，涉及关系型数据库的会议会很少，无论他们鼓吹多少个V。

(3)大数据与数据的区别

大数据技术的问题是，大数据有些含糊不清，以至于行业中的每个供应商都可以跳进来宣称自己的技术是大数据技术。以下是两种很好的方法来帮助企业了解现在的大数据与过去单纯的大数据的区别。

交易、交互和观察：这是由Hortonworks公司负责企业战略的副总裁Shaun Connolly提出的。交易是我们过去收集、存储和分析的主要数据。交互是人们点击网页等操作得到的数据。观察是自动收集的数据。

(4)大数据：信号

SAP公司的Steve Lucas认为，应该根据用意和时机来划分这个世界，而不是根据数据的类型。“旧世界”主要是关于交易，当这些交易被记录时，我们已经无法对它们采取任何行动：企业都在不断管理“失效的数据”。而在“新世界”，企业可以使用新的“信号”数据来预测将会发生什么，并进行干预来改善情况。

相关的案例有，追踪社交媒体上人们对品牌的态度，以及预测性维护(用复杂的算法帮助你决定何时需要更换零部件)。

(5)大数据：机会

这是来自451 Research的Matt Aslett，他将大数据定位为“之前由于技术限制而被忽略的数据”。(尽管在技术上，Matt使用了“暗数据”，而不是大数据，但已经非常接近)。这是笔者最喜欢的定义，由于它符合大部分文章和探讨中的说法。

(6)大数据：隐喻

Rick Smolan在其书中写道，大数据是“帮助这个星球生成神经系统的过程，其中我们人类只是另一种类型的传感器”。很深奥吧?假如你准备入坑大数据开发，可以关注ID:IT资讯科技 会有最前沿的学习资讯。

(7)大数据：新瓶装旧酒

很多项目基本上是使用以前的技术，这些过去被称为BI或者者分析的技术忽然跳入大数据的行列中。

底线：虽然大家对大数据的定义有很多争议，但所有人都同意这个事实：大数据是一个大事件，在未来几年将带来巨大的机遇。

如何玩转大数据

随着科技的不断进步，日常工作、生活中的数据量也是节节攀升，我们迎来了大数据时代。

以大数据为代表的数据密集型科学将成为新一次技术变革的基石。随着数据的进一步集中和数据量的增大，对海量数据进行安全防护变得更加困难，数据的分布式解决也加大了数据泄露的风险。

物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC及遍布地球各个角落的传感器，成为数据来源和承载方式，BYOD也随之诞生。

(1)何为大数据

据有关分析公司预测，到2013年，互联网承载的数据量将会达到每年667EB，这是什么概念?1EB=230GB，数据量之大显而易见，这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但是大数据技术革新将会给我们的生活带来巨大变化。

(2)四大特点组成大数据

数据量巨大：人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而少量大企业的数据量已经接近EB量级，如此庞大的数据量群，分析它们的难度可想而知，因而需要大量的大数据处理方案。

价值密度低：这也是当今大数据背景下需要处理的一个难题，价值密度的高低与数据总量的大小成反比，假如看一小时视频，在连续不间断的监控中有用数据的时间可能会很短，甚至是几秒钟，那么强大的数据计算机的算法就需要非常迅速地完成对数据的“提纯”。

数据类型多：这点不用多解释，数据类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。

解决速度快：据IDC研究机构报告显示，估计到2020年，全球数据使用量将达到35.2ZB(1ZB=210EB)，分析这么大的数据，就需要设施对数据的解决速度有很大的提升。

(3)大数据给企业谋福利

2012年3月，美国宣布投资2亿美元启动“大数据研究和发展计划”，借以加强收集海量数据、分析萃取信息的能力。2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或者黄金一样，许多国家政府更是把大数据上升到战略层面。

(4)全球大数据市场发展趋势

对企业来讲，在大数据背景下数据资产将会取代人才成为各个公司和行业的重要载体，可以有效地帮助企业完成业务的操作、流程的制定以及公司各项工作的经营和监督，通过对数据的分析，帮助企业领导者进行各项决策。

大数据对企业的核心资产也进行了重塑，企业必需熟习和用好海量的数据，而互联网行业已提早感受到了大数据带来的深切变化。少量互联网企业已经完成了核心竞争力的重新定义。

(5)信息安全不容小视

大数据成为网络攻击的显着目标，在网络空间，大数据是更容易被“发现”的大目标。一方面，大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者。另一方面，数据的大量汇集，使得黑客成功攻击一次就能取得更多数据，无形中降低了黑客的进攻成本，添加了“收益率”。

如此庞大的数据中包含了很多个人信息，甚至是隐私信息，数据的集中存储就势必带来大量数据丢失和破坏的风险，少量敏感数据的所有权和使用权并没有明确界定，很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。

许多企业对大数据的认知程度不同，因而致使企业在大数据管理和经营中会出现不妥之处，安全防护手段的升级更新速度无法跟上数据量非线性增长的步伐，就会暴露大数据安全防护的漏洞。

大数据技术很容易成为黑客的攻击手段，在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息。

传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击是一个实施过程，无法被实时检测。此外，大数据的价值低密度性，使得安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中。

(6)切忌一哄而上

中国工程院院士邬贺铨曾建议，中国发展大数据需要尽快制定信息保护法与信息公开法，既要鼓励面向群体而且服务于社会的数据挖掘，又要防止针对个体侵犯隐私的行为，既要提倡数据共享又要防止数据被滥用。

(7)国内大数据发展

在制造行业，企业通过对网上大数据分析理解用户需求和掌握市场动向，并对大数据进行分析后，即可以有效实现对采购和正当库存量的管理，大大减少因盲目进货而导致销售损失，大数据是一个应用驱动性很强的服务，其标准和产业格局尚未形成，这是我国跨越发展的机会，但切忌一哄而起。

分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！

互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却由于时间不够，资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程，大数据学习群：868847735 欢迎进阶中和进想深入大数据的小伙伴加入。

注，平台上传图片会自动压缩图片，可能出现脑图不清晰的情况，大家可以私信小编领取高清的哦!

大数据解决技术怎样学习呢？

首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Python：Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名。

从学习难易度来看，作为一个为“优雅”而生的语言，Python语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。在少量习惯于底层程序开发的“硬核”程序员眼里，Python简直就是一种“伪代码”。

在大数据和数据科学领域，Python几乎是万能的，任何集群架构软件都支持Python，Python也有很丰富的数据科学库，所以Python不得不学。

Linux：由于大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实少量，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易了解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据解决平台几乎已经成为大数据的代名词，所以这个是必学的。

Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行解决计算的，它有个特点就是不论多大的数据只需给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批解决。

YARN是表现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比方我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面即可以了。

其实把Hadoop的这些组件学明白你就能做大数据的解决了，只不过你现在还可能对”大数据”究竟有多大还没有个太清楚的概念，听我的别纠结这个。

等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据，到时候你就不会觉得数据大真好，越大越有你头疼的。

当然别怕解决这么大规模的数据，由于这是你的价值所在，让那些个搞Javaee的php的html5的和DBA的羡慕去吧。

第一阶段学习结束，掌握上述知识，即可以从事大数据方面的工作了。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。

它一般用来存放少量相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只要要把它安装正确，让它正常的run起来即可以了。

Mysql：我们学习完大数据的解决了，接下来学习学习小数据的解决工具mysql数据库，由于一会装hive的时候要用到，mysql需要掌握到什么层度那?

你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创立数据库。

这里主要的是学习SQL的语法，由于hive的语法和这个非常类似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。

当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你解决大数据变的很简单，不会再吃力的编写MapReduce程序。

有的人说Pig那?它和Pig差不多掌握一个即可以了。

Oozie：既然学会Hive了，我相信你肯定需要这个东西，它可以帮你管理你的Hive或者者MapReduce、Spark脚本，还能检查你的程序能否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。

我相信你肯定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

第二阶段学习结束，假如能一律掌握，你就是专业的大数据开发工程师了。

后续提高：大数据结合人工智能达到真正的数据科学家，打通了数据科学的任督二脉，在公司是技术专家级别，这时候月薪再次翻倍且成为公司核心骨干。

机器学习(Machine Learning, ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心，是使计算机具备智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。机器学习的算法基本比较固定了，学习起来相对容易。

深度学习(Deep Learning, DL)：深度学习的概念源于人工神经网络的研究，最近几年发展迅猛。深度学习应用的实例有AlphaGo、人脸识别、图像检测等。是国内外稀缺人才，但是深度学习相比照较难，算法升级也比较快，需要跟随有经验的老师学习。

第三阶段是理想状态，算是终极目标吧。毕竟技术一直在进步，谁也无法预测大数据以后的发展。