Web安全之深度学习实战

(副标题)：无 ;

(作者): 刘焱 ;

内容简介：

​ 3.1　循环神经算法概述
RNN（Recurrent Neural Networks，循环神经网络）是深度学习算法中非常有名的一种算法。RNN之所以称为循环神经网络，是因为一个序列当前的输出与前面的输出也有关。具体的表现形式为，网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。但是在实践中，为了降低复杂性往往假设当前的状态只与前面的几个状态相关[1]。
RNN的独特能力来自于它的特殊结构，如图3-3所示，x代表输入，h代表输出，输出的一部分会作为输入的一部分重新输入，于是RNN具有了一定的记忆性。
把RNN神经元展开来分析，图3-3中的RNN等效于一连串共享系数的神经元串联在一起（如图3-4所示），这也就解释了RNN特别适合处理时序数据的原因。

图3-3　RNN结构示例（一）

图3-4　RNN结构示例（二）
但是生活的经验告诉我们，对于比较复杂的情况，只分析时序数据的最近几个数据难以得到合理的结果，需要更长的记忆来追根溯源，于是就有了LSTM（Long Short Term Memory，长短程记忆），LSTM可以在更长的时间范围来分析时序数据，如图3-5所示。

图3-5　RNN之LSTM示例
LSTM的关键就是神经细胞状态，水平线在图上方贯穿运行，细胞状态类似于传送带，状态通过水平线在细胞之间传递（见图3-6），从而保证长期记忆能保存。
LSTM有通过精心设计的称作“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法，包含一个Sigmoid神经网络层和一个乘法操作，如图3-7所示。Sigmoid层输出0到1之间的数值，描述每个部分有多少量可

目录预览：

​ Web安全之深度学习实战
第1章 打造深度学习工具箱
1.1 TensorFlow
1.1.1 安装
1.1.2 使用举例
1.2 TFLearn
1.3 PaddlePaddle
1.3.1 安装
1.3.2 使用举例
1.4 Karas
1.5 本章小结
第2章 卷积神经网络
2.1 传统的图像分类算法
2.2 基于CNN的图像分类算法
2.2.1 局部连接
2.2.2 参数共享
2.2.3 池化
2.2.4 典型的CNN结构及实现
2.2.5 AlexNet的结构及实现
2.2.6 VGG的结构及实现
........