干货学习 | 神经网络如何从入门到精通?
导读
一般而言,我们可以把神经网络分为前馈网络、递归网络和反馈网络。前馈网络一般指前馈神经网络或者前馈型神经网络。它是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层地输出,并输出给下一层,各层间没有反馈。包括:BP神经网络、RBF神经网络等。
递归神经网络(RNN)是两种人工神经网络的总称。一种是时间递归神经网络(recurrent neural network),又名循环神经网络,包括RNN、LSTM、GRU等;另一种是结构递归神经网络(recursive neural network)。
反馈网络(Recurrent Network),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。包括CHNN、DHNN等。
前馈神经网络的网络结构比较简单,一般为神经网络的入门跳板。
前馈神经网络之——RBF(Radial basis function)径向基函数神经网络
对神经网络有最基础理解的人都知道,神经网络其实就是输入层、几层隐含层、输出层。不同的layer之间的神经元互相连接,连接方式通常为线性加权。

如上图。最简单的神经网络框架中,每一层神经元的连接是线性的。该层的输入为,上层所有输出的加权求和。
而RBF神经网络就是其中的一种特殊的神经网络。RBF神经网络只有三层,包括输入层、隐层和输出层。并且输入空间到隐层的变换是非线性的。如下图:

RBF网络
的基本思想是:用RBF作为隐单元的“基”构成隐含层空间,这样即可以将输入矢量直接映射到隐空间,而不需要通过权连接。当RBF的中心点确定以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。
其中,隐含层的作用是把向量从低维度的p映射到高维度的h,这样低维度线性不可分的情况到高维度即可以变得线性可分了,主要就是核函数的思想。这样,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。网络的权即可由线性方程组直接解出,从而大大加快学习速度并避免局部极小问题。
很多人在入门RBF神经网络时接触上述的一段文字,会出现从入门到放弃的问题。所以我们下面为大家浅显地详情一下,什么是RBF神经网络的运作过程。
RBF径向基函数
首先在详情径向基函数神经网络之前,先详情一下什么是径向基函数。
所有满足

的函数都可以叫径向基函数。也可以按到某一中心点c的距离来定义,
即

由此可见,径向基函数是一个取值仅依赖于样本点到原点(或者中心点)距离的实值函数。
常见的径向基函数包括但不限于
1. 高斯函数

2. 多二次函数(multiquadric)

3. 逆二次函数(inverse quadratic)

4. 逆多二次函数(inverse multiquadric)

5. 多重调和样条(polyharmonic spline)

6. 薄板样条(thin plate spline)

常见RBF的函数逼近过程
数学上可以用许多的径向基函数的和来逼近某一个给定的函数。这一逼近的过程可看作是一个简单的神经网络。换句话说也就是使用径向基函数处理多变量插值问题。基于径向基函数的插值函数如下:

由公式可知,基于径向基函数的插值过程即由p个径向基函数与其相应的权值构成。下图先给出二维平面的n个样本点:

实际操作中,我们往往希望能构建一个函数,使得所有的样本点均落在函数上。此处,我们以径向基函数进行拟合,以一维高斯函数为例,当以原点作为高斯函数的中心点时,高斯函数的曲线如下图:

高斯函数的公式为:

即距离中心点的径越大,高斯函数的取值越小;反之,高斯函数的取值越大,其最大值为1。其高斯函数关于中心点对称。
得益于这一属性,我们构造N个高斯函数,使每一个高斯函数的中心点均与样本点重合,取得下图的红色曲线:

对上图所有的高斯曲线分别乘上一个权值,使得高斯函数的峰值逼近样本点的真实值。
下图中,蓝色曲线为真正的样本点分布曲线。我们把所有的高斯曲线进行加权叠加,边能得到逼近蓝色曲线的拟合曲线。这便对应了插值函数就是由p个径向基函数和其权值构成(p为给定的样本数)。

假如我们把这里的一维高斯函数曲线推广到二维曲面上,若干个二维高斯曲面叠加,就能实现曲面的拟合。

结合上图和下图,径向基函数神经网络中,隐层的每一个神经元对应着一个上图中的高斯函数曲线(面),而网络的输出为隐含层所有神经元的加权叠加。

总结:
RBF网络能够逼近任意的非线性函数,可以解决系统内的难以解析的规律性,具备良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息解决、图像解决、系统建模、控制和故障诊断等。
作者 | 钟穗希,海南大学硕士
编辑 | 小普
PUSHI AI
关于我们
海南普适智能科技有限公司(简称:普适智能PUSHI AI),成立于2018年6月,是一家专注于知识图谱应用的人工智能科技公司,聚焦垂直领域:银行、保险、政务等,致力提供企业级一站式知识图谱平台,自主研发知识中台帮助企业与行业的认知知识大脑,助力商业决策科学化、管理高效化。
假如您感兴趣,欢迎加入PUSHI AI社群,共同探究AI。关注普适极客►加入社群,定期还有线上分享活动噢~

1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 干货学习 | 神经网络如何从入门到精通?