黄广斌谈ELM进展：为深度学习提供理论支持，将勾连生物学习

强大的深度神经网络，仍有很多待解决的问题。超限学习机（ELM）发明人、新加坡南洋理工大学副教授黄广斌认为，ELM能够有效地拓展神经网络的理论和算法。近日，黄广斌发表文章《超限学习机：筑梦普适学习和普适智能（Extreme learning Machines: Enabling Pervasive Learning and Pervasive Intelligence）》，介绍了团队在最近三年的四个研究方向，包括突破深度学习的一些弱项、面向普适学习的超限学习机芯片、打破机器学习和生物学习之间的壁垒等。文章认为，未来将超限学习机芯片集成到硬件中，并实现实时本地在线学习，可以实现普适学习和普适智能。

随着近来以谷歌DeepMind战胜围棋大师李世乭等为代表的一系列科技发展，毫无疑问我们已经进入机器学习的时代。实际上，机器学习已经经历了预热阶段（1950年代到1970年代）和研究驱动阶段（1980年代到2010年）。现在，我们认为机器学习正在进入数据驱动时期（2010年后）。

一个真正的机器学习时代需要满足三个条件：强大的计算环境（包括分布式计算、强大的服务器和智能本地化移动设备）、丰富的动态数据和高效率的机器学习技术。

在过去的十几年里，我们的研究兴趣主要在如何跨学科地研发有关高效的机器学习的理论和技术上。具体来说，在最近三年我们的研究集中在以下四个方向：

新的神经网络学习理论

在过去几十年里，人工神经网络和支持向量机（SVM）在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而，深度学习作为一种目前流行的机器学习技术，还面临着一些挑战，例如学习速度慢、需要大量的人工干预。

在过去几年我们已经研究和提出了新一代的学习理论——超限学习机（Extreme Learning Machines，ELM）。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络，由此提供一个统一的多层神经网络理论框架。

与60年来传统的学习理论不同，超限学习机理论的一个重要性质是其通用学习能力（特征学习、聚类、回归、分类等）无需通过调整隐层节点来获得，例如隐层节点可以从前辈继承或随机生成。进一步来说，超限学习机理论为传统神经网络提供了理论支持（包括局部感受域和池化策略），而这些理论正是深度学习的核心。

• 延伸阅读：G.-B. Huang, “What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle,”Cognitive Computation, vol. 7, pp. 263-278, 2015.
• G.-B. Huang, Q.-Y. Zhu and C.-K. Siew, “Extreme Learning Machine: Theory and Applications”, Neurocomputing, vol. 70, pp. 489-501, 2006.

统一神经网络学习算法

基于超限学习机的机器学习算法对多种类型的神经网络都适用，例如小波网络和傅里叶级数。相比深度学习和支持向量机等流行的机器学习技术，在许多应用中超限学习机可以做到上万倍的学习速度提升。因此，超限学习机可以做到“实时学习”，在稀疏的数据和大型应用中也可以取得优良的结果（图1）。

从理论和实际应用来看，超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力。超限学习机也在很多应用中比深度学习效果更好。实际上，超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。

ELM学习算法已经用在很多实际应用中，例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。（图2）超限学习机也被用在我们的一些新加坡南洋理工大学同事们的研究中，例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。

• 延伸阅读：A. Akusok, K. Bjork, Y. Miche, and A. Lendasse, “High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications,” IEEE Open Access, vol. 3, 2015

面向普适学习的超限学习机芯片

随着物联网的深入发展，在不远的未来，大部分的设备将拥有智能与学习能力。我们相信，就如包括人类在内的生物社会一样，这些智能设备也将发展出一个互相交流的“智能体社会”（Internet of Intelligent Things）（图3）。每个智能体都嵌入有学习功能并且能相互交流。

在这里，由于超限学习机的学习速度比深度学习快上万倍，它可以帮助我们实现智能体社会。超限学习机芯片可以集成到硬件中，并实现实时本地在线学习，从而实现普适学习和普适智能。这几年，我们尤其强化关于超限学习机芯片的研究，主要集中在两个方面：多核加速芯片（由助理教授Yu Hao 领导现场可编程门阵列（FPGA）和专用集成电路（ASIC）），和神经形态芯片（由助理教授Arindam Basu领导）（图4）。

• 延伸阅读：Y. Chen, E. Yao, and A. Basu, “A 128 channel Extreme Learning Machine based Neural Decoder for Brain Machine Interfaces,” (in press) IEEE Transactions on Biomedical Circuits and Systems, 2015

衔接机器学习和生物学习

超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的，在其某些层或区域，其局部结构可看成“无序”的。由此我们提出一个问题：与传统机器学习不同，在生物大脑中是否所有隐层节点都需要调整？虽然人脑中也许有几百种不同种类的生物神经元，他们的数学模型也不为人类所知，但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的，和应用是无关的。

我们的超限学习机理论可能解释由计算机之父John von Neumann最先提出的问题，即一个包含很多随机连接的“不完美”（生物）神经网络，是如何可靠地实现与需要预先理想硬件连接的计算机可媲美的“完美”功能。

为此，我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心，正是推动我们研究的动力所在。

原文：Extreme learning Machines: Enabling Pervasive Learning and Pervasive Intelligence, Pushing Frontiers, vol. 8, pp. 22-23, 2016
作者：黄广斌（@黄广斌-ELM）
责编：周建丁（[email protected]）