深度学习几种基本的网络结构

一个生物神经元细胞的功能比较简单，而人工神经元只是生物神经细胞的理想化和简单实现，功能更加简单. 要想模拟人脑的能力，单一的神经元是远远不够的，需要通过很多神经元一起协作来完成复杂的功能. 这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作一个网络，就是神经网络.

前馈网络

前馈网络中各个神经元按接受信息的先后分为不同的组. 每一组可以看作一个神经层. 每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元.整个网络中的信息是朝一个方向传播，可以用一个有向无环路图表示.前馈网络包括全连接前馈网络和卷积神经网络等. 

　　卷积、循环（主要看下lstm）、注意力机制等

　　卷积神经网络

卷积神经网络是一种具有局部连接、权重共享等特性的深层前馈神经网络。卷积神经网络是受生物学上感受野机制的启发而提出的。目前的卷积神经网络一般由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络。

卷积核、最大池化、全连接.....没啥好写的，之前对卷积了解的相对多一些，我们还是看一下rnn、lstm、seq2seq吧

记忆网络

记忆网络，也称为反馈网络，网格中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息.和前馈网络相比，记忆网络中的神经元具有记忆功能，在不同的时刻具有不同的状态.记忆神经网络中的信息传播可以是单向或双向传递，因此用一个有向循环图或无向图来表示.记忆网络包括循环神经网络、Hopfield网络、玻尔兹曼机、受限玻尔兹曼机等.

记忆网络可以看作一个程序，具有更强的计算和记忆能力.

为了增强记忆网络的记忆容量，可以引入外部记忆单元和读写机制，来保存一些网络的中间状态，称为记忆增强神经网络，比如神经图灵机和记忆网络等.　

　　循环神经网络

循环神经网络(Recurrent Neural Network,RNN)是一类具有短期记忆能力的神经网络，主要用于处理时序数据；在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。和前馈神经网络相比，循环神经网络更加符合神物神经网络的结构，循环神经网络已经被广泛应用在语音识别、语言模型及自然语言生成等任务上。

　　LSTM

　　Attention

图网络

前馈网络和记忆网络的输入都可以表示为向量或向量序列.但实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子网络等.

前馈网络和记忆网络很难处理图结构的数据.图网络和数据结构与算法中图结构以及机器学习中的马尔可夫链思想比较类似

图网络是定义在图结构数据上的神经网络.图中每个节点都由一个或一组神经元构成.节点之间的连接可以是有向的，也可以是无向的.每个节点可以收到来自相邻节点或自身的信息.

图网络是前馈网络和记忆网络的优化，包含很多不同的实现方式，比如图卷积网络、图注意力网络、消息传递神经网络等.

下图给出了前馈网络、记忆网络和图网络结构示例，其中圆形节点表示一个神经元，方形节点便是一组神经元.