循环神经网络(2)

作者 : 开心源码 本文共714个字,预计阅读时间需要2分钟 发布时间: 2022-05-13 共262人阅读

MachineLearninginMarketing

感谢李宏毅老师的分享

每一个隐藏层在时序上不同时间点输入都会接受上一次隐藏层所保存值作为输入来影响这一次的输出。其实这里有一个 hidden state,也就是我们每一次升级输出而且升级状态。

图图

在RNN我们一般采用 tanh 而不是像 CNN 会采用 sigmoid 作为激励函数。在 RNN 而且方程多了一个数值。

循环神经网络可以是双向的,我们通常是从句首读到句尾,将句子每一个词汇作为输入到神经网中。不过我们可以是从句尾读句首将读取方向反过来。

双向循环神经网络的好处就是输出会看到范围比较广。假设我们只有单向(也就是正向)神经网络当我们在 x(t+1)输出时候,这时候输出只是读取了 xt 的数据,而在双向循环神经网则不同,他已经读取整个句子,无论在哪一点输出都已经读取了整个句子。

图图图

LSTM
说到存储,我们今天详情是当下比较流行的 LSTM。

当我们数据要写入到存储器里,首先需要要经过一个挑选器(Input Gate),随来控制挑选器呢?这里是由其余神经元以信号形式来控制挑选器(input Gate)能否时候接收并存储数据,什么时候拒绝存储数据。即便是由神经元来控制及表示控制挑选器这件事也是神经网自己学习到的。

图

其神经元能否可以从存储器中获取值也是受到控制(Output Gate)来进行控制的。这个挑选器一样,也是由神经网通过学习来控制何时输出的。到现在为止感觉有点意思了。

图

有了记忆我们这里还有忘掉的少量数据,这就是由 Forget Gate 来控制,这是也是神经网自己学来控制核何时不记得数据或者是格式化数据。

图

其实我们可以看出这个存储器是有 4 输入和一个输出,其中三个是控制存储器行为的信号数据。

图

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 循环神经网络(2)

发表回复