史上最全解析:大数据和机器学习有什么区别?

作者 : 开心源码 本文共8512个字,预计阅读时间需要22分钟 发布时间: 2022-05-12 共289人阅读

大数据的定义:大数据(big data),指无法在肯定时间范围内用常规软件工具进行捕捉、管理和解决的数据集合,是需要新解决模式才能具备更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是一个抽象的概念暂未发现和精确的定义。

大数据的核心是利用数据的价值,机器学习是利用数据价值的关键技术,对于大数据而言,机器学习是不可或者缺的。相反,对于机器学习而言,越多的数据会越 可能提升模型的准确性,同时,复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因而,机器学习的兴盛也离不开大数据的帮助。 大数据与机器学习两者是互相促进,相依相存的关系。

机器学习与大数据紧密联络。但是,必需清醒的认识到,大数据并不等同于机器学习,同理,机器学习也不等同于大数据。大数据中包含有分布式计算,内存数据库,多维分析等等多种技术。单从分析方法来看,大数据也包含以下四种分析方法:

一、.大数据,小分析:即数据仓库领域的OLAP分析思路,也就是多维分析思想。

二、大数据,大分析:这个代表的就是数据挖掘与机器学习分析法。

三、流式分析:这个主要指的是事件驱动架构。

四、查询分析:经典代表是NoSQL数据库。

也就是说,机器学习仅仅是大数据分析中的一种而已。虽然机器学习的少量结果具备很大的魔力,在某种场合下是大数据价值最好的说明。但这并不代表机器学习是大数据下的唯一的分析方法。

机器学习的定义

从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是一种通过利用数据,训练出模型,而后使用模型预测的一种方法。

首先,我们需要在计算机中存储历史的数据。接着,我们将这些 数据通过机器学习算法进行解决,这个过程在机器学习中叫做“训练”,解决的结果可以被我们用来对新的数据进行预测,这个结果一般称之为“模型”。对新数据 的预测过程在机器学习中叫做“预测”。“训练”与“预测”是机器学习的两个过程,“模型”则是过程的中间输出结果,“训练”产生“模型”,“模型”指导 “预测”。

人类在成长、生活过程中积累了很多的历史与经验。人类定期地对这些经验进行“归纳”,取得了生活的“规律”。当人类遇到未知的问题或者者需要对未来进行“推测”的时候,人类使用这些“规律”,对未知问题与未来进行“推测”,从而指导自己的生活和工作。

机器学习中的“训练”与“预测”过程可以对应到人类的“归纳”和“推测”过程。通过这样的对应,我们可以发现,机器学习的思想并不复杂,仅仅是对人类在生活中学习成长的一个模拟。因为机器学习不是基于编程形成的结果,因而它的解决过程不是因果的逻辑,而是通过归纳思想得出的相关性结论。在此我向大家推荐一个大数据技术交流圈:?658558542??突破技术瓶颈,提升思维能力 。

这也可以联想到人类为什么要学习历史,历史实际上是人类过往经验的总结。有句话说得很好,“历史往往不一样,但历史总是惊人的类似”。通过学习历史,我们从历史中归纳出人生与国家的规律,从而指导我们的下一步工作,这是具备莫大价值的。当代少量人忽视了历史的原本价值,而是把其作为一种宣扬功绩的手段,这其实是对历史真实价值的一种误用。

机器学习的范围

机器学习跟模式识别,统计学习,数据挖掘,计算机视觉,语音识别,自然语言解决等领域有着很深的联络。

从范围上来说,机器学习跟模式识别,统计学习,数据挖掘是相似的,同时,机器学习与其余领域的解决技术的结合,形成了计算机视觉、语音识别、自然语言解决等交叉学科。因而,一般说数据挖掘时,可以等同于说机器学习。同时,我们平时所说的机器学习应用,应该是通用的,不仅仅局限在结构化数据,还有图像,音频等应用。

模式识别

模式识别=机器学习。两者的主要区别在于前者是从工业界发展起来的概念,后者则主要源自计算机学科。在著名的《Pattern Recognition And Machine Learning》这本书中,Christopher M. Bishop在开头是这样说的“模式识别源自工业界,而机器学习来自于计算机学科。不过,它们中的活动可以被视为同一个领域的两个方面,同时在过去的10年间,它们都有了长足的发展”。

数据挖掘

数据挖掘=机器学习+数据库。这几年数据挖掘的概念实在是太耳熟能详。几乎等同于炒作。凡是说数据挖掘都会吹牛数据挖掘如何如何,例如从数据中挖出金子,以及将废弃的数据转化为价值等等。但是,我虽然可能会挖出金子,但我也可能挖的是“石头”啊。这个说法的意思是,数据挖掘仅仅是一种思考方式,告诉我们应该尝试从数据中挖掘出知识,但不是每个数据都能挖掘出金子的,所以不要神话它。一个系统绝对不会由于上了一个数据挖掘板块就变得无所不能(这是IBM最喜欢吹牛的),恰恰相反,一个拥有数据挖掘思维的人员才是关键,而且他还必需对数据有深刻的认识,这样才可能从数据中导出模式指引业务的改善。大部分数据挖掘中的算法是机器学习的算法在数据库中的优化。

统计学习

统计学习近似等于机器学习。统计学习是个与机器学习高度重叠的学科。由于机器学习中的大多数方法来自统计学,甚至可以认为,统计学的发展促进机器学习的繁荣昌盛。例如著名的支持向量机算法,就是源自统计学科。但是在某种程度上两者是有分别的,这个分别在于:统计学习者重点关注的是统计模型的发展与优化,偏数学,而机器学习者更关注的是能够处理问题,偏实践,因而机器学习研究者会重点研究学习算法在计算机上执行的效率与精确性的提升。

计算机视觉

计算机视觉=图像解决+机器学习。图像解决技术用于将图像解决为适合进入机器学习模型中的输入,机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多,例如百度识图、手写字符识别、车牌识别等等应用。这个领域是应用前景非常火热的,同时也是研究的热门方向。随着机器学习的新领域深度学习的发展,大大促进了计算机图像识别的效果,因而未来计算机视觉界的发展前景不可估量。

语音识别

语音识别=语音解决+机器学习。语音识别就是音频解决技术与机器学习的结合。语音识别技术一般不会单独使用,一般会结合自然语言解决的相关技术。目前的相关应用有苹果的语音助手siri等。

自然语言解决

自然语言解决=文本解决+机器学习。自然语言解决技术主要是让机器了解人类的语言的一门领域。在自然语言解决技术中,大量使用了编译原理相关的技术,例如词法分析,语法分析等等,除此之外,在了解这个层面,则使用了语义了解,机器学习等技术。作为唯一由人类自身创造的符号,自然语言解决一直是机器学习界不断研究的方向。按照百度机器学习专家余凯的说法“听与看,说白了就是阿猫和阿狗都会的,而只有语言才是人类独有的”。如何利用机器学习技术进行自然语言的的深度了解,一直是工业和学术界关注的焦点。

机器学习的方法

1、回归算法

在大部分机器学习课程中,回归算法都是详情的第一个算法。起因有两个:一.回归算法比较简单,详情它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石,假如不了解回归算法,无法学习那些强大的算法。回归算法有两个重要的子类:即线性回归和逻辑回归。

线性回归就是我们常见的直线函数。如何拟合出一条直线最佳匹配我所有的数据?一般使用“最小二乘法”来求解。“最小二乘法”的思想是这样的,假设我们拟合出的直线代表数据的真实值,而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响,需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题。函数极值在数学上我们一般会采用求导数为0的方法。但这种做法并不适合计算机,可能求解不出来,也可能计算量太大。在此我向大家推荐一个大数据技术交流圈:?658558542??突破技术瓶颈,提升思维能力 。

计算机科学界专门有一个学科叫“数值计算”,专门用来提升计算机进行各类计算时的精确性和效率问题。例如,著名的“梯度下降”以及“牛顿法”就是数值计算中的经典算法,也非常适合来解决求解函数极值的问题。梯度下降法是处理回归模型中最简单且有效的方法之一。从严格意义上来说,因为后文中的神经网络和推荐算法中都有线性回归的因子,因而梯度下降法在后面的算法实现中也有应用。

逻辑回归是一种与线性回归非常相似的算法,但是,从本质上讲,线型回归解决的问题类型与逻辑回归不一致。线性回归解决的是数值问题,也就是最后预测出的结果是数字,例如房价。而逻辑回归属于分类算法,也就是说,逻辑回归预测结果是离散的分类,例如判断这封邮件能否是垃圾邮件,以及客户能否会点击此广告等等。

实现方面的话,逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数,将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观,你只要要了解对数值越大,函数越逼近1,数值越小,函数越逼近0),接着我们根据这个概率可以做预测,例如概率大于0.5,则这封邮件就是垃圾邮件,或者者肿瘤能否是恶性的等等。从直观上来说,逻辑回归是画出了一条分类线。

逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归,不过那样的模型在解决数据量较大的时候效率会很低),这意味着当两类之间的界线不是线性时,逻辑回归的表达能力就不足。下面的两个算法是机器学习界最强大且重要的算法,都可以拟合出非线性的分类线。

2、神经网络

神经网络(也称之为人工神经网络,ANN)算法是80年代机器学习界非常流行的算法,不过在90年代中途衰落。现在,携着“深度学习”之势,神经网络重装归来,重新成为最强大的机器学习算法之一。

神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的试验,发现在视觉与语音的识别上效果都相当好。在BP算法(加速神经网络训练过程的数值算法)诞生以后,神经网络的发展进入了一个热潮。BP算法的发明人之一是前面详情的机器学习大牛Geoffrey Hinton。

具体说来,神经网络的学习机理是什么?简单来说,就是分解与整合。在著名的Hubel-Wiesel实验中,学者们研究猫的视觉分析机理是这样的。

比如说,一个正方形,分解为四个折线进入视觉解决的下一层中。四个神经元分别解决一个折线。每个折线再继续被分解为两条直线,每条直线再被分解为黑白两个面。于是,一个复杂的图像变成了大量的细节进入神经元,神经元解决以后再进行整合,最后得出了看到的是正方形的结论。这就是大脑视觉识别的机理,也是神经网络工作的机理。

让我们看一个简单的神经网络的逻辑架构。在这个网络中,分成输入层,隐藏层,和输出层。输入层负责接收信号,隐藏层负责对数据的分解与解决,最后的结果被整合到输出层。每层中的一个圆代表一个解决单元,可以认为是模拟了一个神经元,若干个解决单元组成了一个层,若干个层再组成了一个网络,也就是”神经网络”。

在神经网络中,每个解决单元事实上就是一个逻辑回归模型,逻辑回归模型接收上层的输入,把模型的预测结果作为输出传输到下一个层次。通过这样的过程,神经网络可以完成非常复杂的非线性分类。

进入90年代,神经网络的发展进入了一个瓶颈期。其主要起因是虽然有BP算法的加速,神经网络的训练过程依然很困难。因而90年代后期支持向量机(SVM)算法取代了神经网络的地位。

3、SVM(支持向量机)

支持向量机算法是诞生于统计学习界,同时在机器学习界大放光彩的经典算法。

支持向量机算法从某种意义上来说是逻辑回归算法的强化:通过给予逻辑回归算法更严格的优化条件,支持向量机算法可以取得比逻辑回归更好的分类界线。但是假如没有某类函数技术,则支持向量机算法最多算是一种更好的线性分类技术。

但是,通过跟高斯“核”的结合,支持向量机可以表达出非常复杂的分类界线,从而达成很好的的分类效果。“核”事实上就是一种特殊的函数,最典型的特征就是可以将低维的空间映射到高维的空间。

我们如何在二维平面划分出一个圆形的分类界线?在二维平面可能会很困难,但是通过“核”可以将二维空间映射到三维空间,而后使用一个线性平面即可以达成相似效果。也就是说,二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。于是,我们可以通过在三维空间中进行简单的线性划分即可以达到在二维平面中的非线性划分效果。

支持向量机是一种数学成分很浓的机器学习算法(相对的,神经网络则有生物科学成分)。在算法的核心步骤中,有一步证实,即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是,通过支持向量机算法,既可以保持计算效率,又可以取得非常好的分类效果。因而支持向量机在90年代后期一直占据着机器学习中最核心的地位,基本取代了神经网络算法。直到现在神经网络借着深度学习重新兴起,两者之间才又发生了微妙的平衡转变。

4、聚类算法

前面的算法中的一个明显特征就是我的训练数据中包含了标签,训练出的模型可以对其余未知数据预测标签。在下面的算法中,训练数据都是不含标签的,而算法的目的则是通过训练,推测出这些数据的标签。这类算法有一个统称,即无监督算法(前面有标签的数据的算法则是有监督算法)。无监督算法中最典型的代表就是聚类算法。在此我向大家推荐一个大数据技术交流圈:?658558542??突破技术瓶颈,提升思维能力 。

让我们还是拿一个二维的数据来说,某一个数据包含两个特征。我希望通过聚类算法,给他们中不同的种类打上标签,我该怎样做呢?简单来说,聚类算法就是计算种群中的距离,根据距离的远近将数据划分为多个族群。

聚类算法中最典型的代表就是K-Means算法。

5、降维算法

降维算法也是一种无监督学习算法,其主要特征是将数据从高维降低到低维层次。在这里,维度其实表示的是数据的特征量的大小,例如,房价包含房子的长、宽、面积与房间数量四个特征,也就是维度为4维的数据。可以看出来,长与宽事实上与面积表示的信息重叠了,例如面积=长 × 宽。通过降维算法我们即可以去除冗余信息,将特征减少为面积与房间数量两个特征,即从4维的数据压缩到2维。于是我们将数据从高维降低到低维,不仅利于表示,同时在计算上也能带来加速。

刚才说的降维过程中减少的维度属于肉眼可视的层次,同时压缩也不会带来信息的损失(由于信息冗余了)。假如肉眼不可视,或者者没有冗余的特征,降维算法也能工作,不过这样会带来少量信息的损失。但是,降维算法可以从数学上证实,从高维压缩到的低维中最大程度地保留了数据的信息。因而,使用降维算法依然有很多的好处。

降维算法的主要作用是压缩数据与提升机器学习其余算法的效率。通过降维算法,可以将具备几千个特征的数据压缩至若干个特征。另外,降维算法的另一个好处是数据的可视化,例如将5维的数据压缩至2维,而后可以用二维平面来可视。降维算法的主要代表是PCA算法(即主成分分析算法)。

6、推荐算法

推荐算法是目前业界非常火的一种算法,在电商界,如亚马逊,天猫,京东等得到了广泛的运用。推荐算法的主要特征就是可以自动向客户推荐他们最感兴趣的东西,从而添加购买率,提升效益。推荐算法有两个主要的类别:

一类是基于物品内容的推荐,是将与客户购买的内容近似的物品推荐给客户,这样的前提是每个物品都得有若干个标签,因而才可以找出与客户购买物品相似的物品,这样推荐的好处是关联程度较大,但是因为每个物品都需要贴标签,因而工作量较大。

另一类是基于客户类似度的推荐,则是将与目标客户兴趣相同的其余客户购买的东西推荐给目标客户,例如小A历史上买了物品B和C,经过算法分析,发现另一个与小A近似的客户小D购买了物品E,于是将物品E推荐给小A。

两类推荐都有各自的优缺点,在一般的电商应用中,一般是两类混合使用。推荐算法中最有名的算法就是协同过滤算法。

7、梯度下降法

梯度下降法 是一个最优化算法,通常也称为最速下降法。最速下降法是求解无束缚优化问题最简单和最古老的方法之一,尽管现在已经不具备实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。好比将函数比作一座山,我们站在某个山坡上,往四周看,从哪个方向向下走一小步,能够下降的最快;当然处理问题的方法有很多,梯度下降只是其中一个,还有一种方法叫Normal Equation

8、牛顿法

牛顿法是一种非线性最小二乘最优化方法。其利用了目标函数的泰勒开展式把非线性函数的最小二乘化问题化为每次迭代的线性函数的最小二乘化问题。牛顿法的缺点在于:若初始点距离极小值点过远,迭代步长过大会导致迭代下一代的函数值不肯定小于上一代的函数值。牛顿法在二阶导数的作用下,从函数的凸性出发,直接搜索怎么到达极值点,也就是说在选择方向时,不仅考虑当前坡度能否够大,还会考虑你走了一步之后,坡度能否会变得更大。

从收敛速度来看,梯度下降是线性收敛,牛顿法是超线性的,至少二阶收敛~,当目标函数是凸函数时,梯度下降法的解释全局最优解。一般情况下,其解不保证是全局最优解。当目标函数不是凸函数时,可以将目标函数近似转化成凸函数。或者者用少量智能优化算法例如模拟退火,以肯定的概率跳出局部极值,但是这些算法都不保证能找到最小值。

9、BP算法

BP算法是学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层解决后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而取得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或者进行到预先设定的学习次数为止。

10、SMO算法

SMO算法是针对求解SVM问题的Lagrange对偶问题,一个二次规划式,开发的高效算法。传统的二次规划算法的计算开销正比于训练集的规模,而SMO基于问题本身的特性(KKT条件束缚)对这个特殊的二次规划问题的求解过程进行优化。对偶问题中我们最后求解的变量只有Lagrange乘子

向量,这个算法的基本思想就是每次都只选取一对

向量其余维度的元素的值,而后进行优化,直至收敛。

除了以上算法之外,机器学习界还有其余的如高斯判别,朴素贝叶斯,决策树等等算法。但是上面列的10个算法是使用最多,影响最广,种类最全的典型。机器学习界的一个特色就是算法众多,发展百花齐放。

下面做一个总结,按照训练的数据有无标签,可以将上面算法分为监督学习算法和无监督学习算法,但推荐算法较为特殊,既不属于监督学习,也不属于非监督学习,是单独的一类。

监督学习算法:

线性回归,逻辑回归,神经网络,SVM

无监督学习算法:

聚类算法,降维算法

特殊算法:

推荐算法

除了这些算法以外,有少量算法的名字在机器学习领域中也经常出现。但他们本身并不算是一个机器学习算法,而是为理解决某个子问题而诞生的。你可以了解他们为以上算法的子算法,用于大幅度提高训练过程。其中的代表有:梯度下降法,主要运用在线型回归,逻辑回归,神经网络,推荐算法中;牛顿法,主要运用在线型回归中;BP算法,主要运用在神经网络中;SMO算法,主要运用在SVM中。

机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展,数据能够“预测”。对人类而言,积累的经验越丰富,阅历也广泛,对未来的判断越精确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势,就在于经验丰富的人取得的规律比他人更精确。而在机器学习领域,根据著名的一个试验,有效的证明了机器学习界一个理论:即机器学习模型的数据越多,机器学习的预测的效率就越好。

成功的机器学习应用不是拥有最好的算法,而是拥有最多的数据!

在大数据的时代,有好多优势促使机器学习能够应用更广泛。例如随着物联网和移动设施的发展,我们拥有的数据越来越多,种类也包括图片、文本、视频等非结构化数据,这使得机器学习模型可以取得越来越多的数据。同时大数据技术中的分布式计算Map-Reduce使得机器学习的速度越来越快,可以更方便的使用。种种优势使得在大数据时代,机器学习的优势可以得到最佳的发挥。

感谢您的观看,如有不足之处,欢迎批评指正。

在此我向大家推荐一个大数据开发交流圈:

658558542? ? (?点击就可加入群聊)

里面整理了一大份学习资料,全都是些干货,包括大数据技术入门,大数据离线解决、数据实时解决、Hadoop 、Spark、Flink、推荐系统算法以及源码解析等,送给每一位大数据小伙伴,让自学更轻松。这里不止是小白聚集地,还有大牛在线解答!欢迎初学和进阶中的小伙伴一起进群学习交流,共同进步!

最后祝福所有遇到瓶颈的大数据程序员们突破自己,祝福大家在往后的工作与面试中一切顺利。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 史上最全解析:大数据和机器学习有什么区别?

发表回复