深度学习和神经网络的6大发展趋势，值得关注！

神经网络的基本思想是模拟计算机“大脑”中的多个相互关联的细胞&＃xff0c;这样它就可以从环境中学习、识别不同的模式&＃xff0c;并做出与人类相似的决定。

一个基本的神经网络包含大约数百万的人工神经元&＃xff0c;称为单元&＃xff08;unit&＃xff09;。这些单元按层排列&＃xff0c;每一层连接到另一侧。这些单元划分如下&＃xff1a;

1. 输入单元-旨在从外部环境接收信息。

2. 隐藏单元-最终输入到输出单位&＃xff0c;每个隐藏单元都是其输入的压缩线性函数。

3. 输出单元-这些信号网络应该如何响应最近获取的信息。

大多数的神经网络是“全连通“的。这意味着每个隐藏单元和每个输出单元都连接到该层另一侧的每个单元。每个单元之间的联系称为“权重”。权重可以是正的&＃xff0c;也可以是负的&＃xff0c;这取决于它对另一个单位的影响程度。

当神经网络被训练时&＃xff0c;不同的输入单元将不同的信息模式馈送到网络中。这些会触发之后到达输出单元的隐藏层。这被称为前馈网络是常用的设计之一。 在你使用不同的学习示例对神经网络进行充分训练之后&＃xff0c;它就会到达一个阶段&＃xff0c;在该阶段可以呈现一组全新的输入&＃xff0c;这些输入在训练阶段没有遇到&＃xff0c;并且它可以预测出令人满意的输出。

以下是神经网络和深度学习的一些重要趋势。

胶囊网络

胶囊网络是一种新兴的深层神经网络形式。它们以类似于人脑的方式处理信息。这实质上意味着胶囊网络可以维持层次关系。

这与卷积神经网络形成对比。尽管卷积神经网络是迄今为止最广泛使用的神经网络之一&＃xff0c;但它们未能考虑简单和复杂对象之间存在的关键空间层次结构。这导致错误分类和更高的错误率。

在进行简单的识别任务时&＃xff0c;胶囊网络提供更高的准确度&＃xff0c;同时减少错误数量。并且他们也不需要大量的培训模型数据。

深度强化学习(DRL)

深度强化学习是神经网络的一种形式&＃xff0c;它通过观察、行动和奖励与环境交流来学习。DRL已经被成功地用于确定游戏策略&＃xff0c;比如Atari和Go。著名的AlphaGo项目被用来击败人类冠军&＃xff0c;而且也取得了成功。

DRL是必不可少的&＃xff0c;因为它是你可以用于开发业务应用程序的最通用的学习技术之一。培训模式所需的数据也要少得多。另一个优点是你可以通过模拟来训练它。这完全消除了标记数据的需要。

增强学习

到目前为止&＃xff0c;机器学习的最大障碍&＃xff0c;尤其是深度学习&＃xff0c;是用于训练神经模型的大量标记数据的可用性。有两种技术可以帮助解决这一问题-合成新数据并将任务A的训练模型转移到任务B。

转移学习&＃xff08;将学习从一个任务转移到另一个任务&＃xff09;或一次性学习&＃xff08;只用一个或没有相关示例进行学习&＃xff09;等技术使它们成为精益数据学习技术。类似地&＃xff0c;当使用插值或模拟来合成新数据时&＃xff0c;它有助于获得更多训练数据。 ML专家通常将此称为增强现有数据以改善学习。

诸如此类的技术可用于解决更广泛的问题&＃xff0c;尤其是在存在较少历史数据的情况下。

监督模型

监督模型是一种学习形式&＃xff0c;它从以前标记的训练数据中推断出特定的功能。它使用一种有监督的学习算法&＃xff0c;该算法包含一组具有相应标记的正确输出的输入。

将标记输入与标记输出进行比较。鉴于两者之间的差异&＃xff0c;您可以计算错误值&＃xff0c;然后使用算法来学习输入和输出之间的映射。

最终目标是近似映射函数&＃xff0c;如果接收到新的输入数据&＃xff0c;则可以预测精确的输出数据。类似于教师监督学习过程的情况&＃xff0c;当算法达到令人满意的性能或准确性时&＃xff0c;学习过程停止。

带记忆模型的网络

区分人类和机器的一个重要方面是工作和思考的能力。毫无疑问&＃xff0c;计算机可以预先编程&＃xff0c;以极高的精度完成一项特定的任务。但是&＃xff0c;当你需要它们在不同的环境中工作时&＃xff0c;就会出现问题。

为了使机器能够适应现实世界的环境&＃xff0c;神经网络必须能够在不遗忘的情况下学习顺序任务。神经网络需要借助多种强大的体系结构来克服遗忘。这些可以包括&＃xff1a;

1.长期内存网络&＃xff0c;可以处理和预测时间序列

2.弹性权重合并算法&＃xff0c;可以根据先前完成的任务定义的优先级减慢学习速度

3.不受遗忘影响的渐进式神经网络&＃xff0c;能够从已经学过的网络中提取有用的特征&＃xff0c;以用于新的任务。

混合学习模型

各种类型的深度神经网络&＃xff0c;包括GANs和DRL&＃xff0c;在性能方面表现出了很大的潜力&＃xff0c;并在不同类型的数据中得到了广泛的应用。也就是说&＃xff0c;深度学习模型无法以贝叶斯或概率方法的方式对不确定性进行建模。

混合学习模型可以将这两种方法结合起来&＃xff0c;并利用这两种方法的优点。这种混合模型的一些例子包括贝叶斯GANs和贝叶斯条件GANs。

混合学习模型允许扩展可解决的业务问题范围&＃xff0c;包括具有不确定性的深度学习。这将允许更高的性能以及模型的可解释性&＃xff0c;这可以鼓励更广泛的采用。

概要

人工智能为新时代奠定了基础&＃xff0c;许多技术上的突破都是建立在这一基础之上的。在这篇文章中&＃xff0c;我们已经介绍了深度学习和神经网络的一些显著趋势。自动驾驶汽车结合使用多种模型&＃xff0c;如深度加强学习和卷积神经网络&＃xff0c;进行视觉识别。

我们可能错过了许多其他值得注意的趋势。你认为深度学习和神经网络的显着趋势是什么&＃xff1f;请在评论区分享你的观点。

原文标题《Top 6 Notable Trends in Deep Learning and Neural Networks》

作者&＃xff1a;Manjunath M

译者&＃xff1a;lemon

本文为译文&＃xff0c;不代表云加社区观点。

——  完  ——

推荐阅读&＃xff1a;

看完这篇文章&＃xff0c;你可以快速理解REST

手把手教你如何结合腾讯云开发微信小程序

如何快速上手微信小程序开发&＃xff1f;

小程序·云开发体验&＃xff1a;简单几步快速开发小程序

关注云加社区&＃xff0c;回复 3 加读者群

点击阅读原文&＃xff0c;查看更多技术干货