【干货】针对DNN的神经网络中上下文相关处理的连续学习概述

Nature的出版物Machine Intelligence在8月份发布了最新的接收论文，共有四篇。其中两人来自中国，一位来自清华生命学院的龚海鹏，另一位来自澳大利亚格里菲斯大学的周耀琦。他们使用神经网络进行蛋白质结构预测。另一个是中国科学院自动化研究所的神经网络余山团队。持续学习的改进。

值得一提的是，这两篇文章也是国内学者在NMI期刊上首次出版。

本文介绍了两个非常有趣和深刻的概念：

正交权重修正（OWM）算法;

依赖于上下文的处理（CDP）模块。

1、什么是只能？

在解释本文的核心内容之前，我们首先要考虑一个问题：什么是“聪明”？据推测，每个人都会对自己有一个定义。

图灵奖获得者艾伦·纽厄尔和诺贝尔奖获得者赫伯特·西蒙共同撰写了一篇文章，将情报定义为“适应环境变化并实现自己的目标”。DeepMind的联合创始人Shane Legg总结了数十种智能的定义，并建议智能通用指标应能够在不同环境中实现特定目标。从这些定义可以看出，个体对复杂和动态环境的高适应性是智力的重要指标;基于适应环境变化的能力评估智力水平也是不同领域学者之间更加统一的共识。

人脑显然是高环境适应性的典范。人们不仅可以在新环境中吸收新知识，还可以根据不同的环境灵活调整自己的行为。在这方面，广泛使用的深度神经网络（DNN）和大脑之间存在很大差距。

DNN的当前优势在于它可以在输入和输出之间建立非常复杂的映射，用于识别，分类和预测。但是一旦学习阶段结束，它可以做的操作就会固化下来。很难方便地学习新的映射，并且在实际环境中不足以具有上下文信息（例如其自身的状态，环境变化，任务变化等）。作为回应，很难满足复杂和不断变化的需求，即缺乏依赖于语境的学习。此外，传统的DNN也受到“灾难性遗忘”问题的困扰。在保留旧知识的同时，很难学习新知识，即不断学习的能力。缺乏这两种能力是制约DNN当前高级智能发展的重要瓶颈。

余山团队等人的初衷恰恰是上述DNN能力限制所提出的改进。OWM算法本质上是一种非常古老的算法（甚至可追溯到高斯时代），即RLS算法，它具有减轻“灾难遗忘”的能力。于山等人 本文研究了RLS算法的机理，并对其进行了改进，得到了OWM算法。CDP模块的灵感来自前脑叶在人脑中的作用及其连接模式。前额叶接收多个感觉输入，然后基于上下文信息选择与当前任务最相关的信息以控制行为。CDP模块以这种方式设计。

2、OWM算法

OWM算法的核心思想非常简单。正如其名称“正交权重修改”一样，当学习新任务时，仅在与旧任务输入空间正交的方向上修改神经网络权重。这样，权重增量几乎不影响前一任务的输入，从而保证了在新任务训练过程中网络搜索到的解决方案仍然在前一任务的解空间中。数学上，OWM通过正交投影算子P和误差反向传播算法获得的权重增量

实现其目的的角色，即最终的体重增量，这里k为系数。

图1：OWM算法的示意图。 （a）：当权重更新时，OWM算法仅保留由与历史任务输入空间正交的传统BP算法计算的权重增量部分。 （b）：在新任务中，OWM算法将解决方案的搜索范围限制在旧任务的解空间中的神经网络。

OWM算法实现了对网络中现有知识的有效保护，并且与现有的梯度反向传播算法完全兼容，在连续学习测试任务中表现出良好的性能。

图2：在连续学习MNIST手写数字0-9的任务中，随着任务数量的增加，OWM算法的优势变得更加明显。 同时，学习任务的顺序可能会对个别任务产生影响。 如果您学习数字4和7，您将显着提高数字9的识别准确度。

在连续学习不相交的MNIST和混洗MNIST任务的标准任务中，OWM算法优于其他类型的算法。 而且，随着学习任务数量的增加，OWM算法的性能优势将得到进一步提高。

图3：OWM算法在ImageNet和中文手写汉字识别的连续学习任务中表现出优异的性能。

使用OWM算法，神经网络可以不断学习识别ImageNet的1000种图片和3755个中文手写汉字（每个任务只训练一种图片或一个汉字）。

图4：用于汉字识别的OWM的小样本连续学习

值得一提的是，该算法具有出色的小样本学习能力。 以手写汉字识别为例，基于预训练特征提取器，系统可以从少数阳性样本中不断学习新汉字。

3、CDP模块

CDP模块的灵感来自前额叶皮质。前额皮质是负责大脑认知控制的核心皮层。它同时接收感测输入和上下文信号，并选择与当前任务最相关的感测信号以指示输出响应。受此启发，作者介绍了一种类似的处理架构--CDP模块。

图5：具有前额叶的CDP模块的结构设计。左上角是它如何工作的示意图。

它由两个子模块组成：1。编码子模块负责将上下文信息编码为适当的控制信号; 2.“旋转”子模块，使用编码模块的控制信号来处理任务输入（因为它在功能上等效）高维空间中的特征向量旋转，因此它被称为“旋转”子 - 模。

如果CDP模块与OWM算法结合使用，则神经网络仅需要一个分类器来连续学习40种不同面部特征的识别任务。

图6：相同的分类器连续学习同一输入的40个不同的面部属性分类任务（蓝色数据点），正确的速率几乎与具有40个分类器（橙色线）的系统相同。

此外，当出现不同的提示信号时，它们对相应的特征做出判断，其效果等同于引入40个分类器的情况。

OWM算法有效地克服了灾难性遗忘，并通过CDP模块在单个网络中实现了基于上下文信号的多任务学习。预计两者的结合将使智能体通过不断学习适应复杂多变的环境，从而逐步接近更高水平。

4、发表

人们可能还记得，Nature的子公司Machine Intelligence在去年4月被整个AI社区的人们反对，包括对AI Bulls的签名抵制，包括Jeff Dean，Ian Goodfellow，Yann LeCun和Yoshua Bengio。因为他们认为机器学习社区一直有开放获取的传统，而NMI采取付费阅读的形式是历史性的逆转。

NMI杂志以多种方式做出回应，包括直接在论文页面上显示arXiv URL，提供免费的全文浏览链接，以及鼓励作者通过多种渠道向公众提供，包括社交媒体。

2019年1月，NMI正式启动。从已发表的论文中，NMI收到了关于机器学习理论和方法的论文。人工智能应用于其他研究领域，以及研究人工智能对社会和道德方面的影响。NMI是月刊，发表的研究论文数量仅为2-4。这样的卷使得同行更容易注意到文章，因此它比传统的顶级期刊和期刊更加明显。此外，作为一本新杂志，NMI更加关注跨学科研究。除编辑外，三位编辑都具有神经科学背景，这与传统的顶级会议和期刊完全不同。

根据他们团队的说法，他们选择提供NMI的原因是因为他们的考虑，因为他们的工作基本上是受大脑启发的研究，所以NMI是一个合适的平台。提交论文需要大约半年的时间才能收到。

然而，这不是OWL算法和CDP模块的第一次曝光。事实上，这项工作已于2017年底开始，并在2018年国际大学生脑计算竞赛中获得了300,000奖金创新特别奖。

他们经历了一系列的改进和改进，包括算法性能的理论分析，以及CDP模块的进一步优化等，最终在NMI上发布。

共同的第一作者是曾冠雄和陈阳。前者刚于今年6月毕业于硕士学位;虽然后者是该工作的博士后研究员，但他已成为自动化研究所的助理研究员。在这项工作中，曾冠雄负责所有程序的实施，并提出了CDP模块的计算方法和理论分析。陈阳对OWM算法的机理进行了深入的理论分析，并为解决其他几个关键问题做出了贡献。另一位作者，博士。学生崔波也参加了一些分析和计算工作。作为一名教师，于山说：“我的主要作用是提出类似大脑的想法，然后在遇到瓶颈和困难时为每个人欢呼。”

有关OWM和CDP细微之处的更多详细信息，请参阅

相关资源关注微信公众号：“图像算法”或者微信搜索账号imalg_cn关注公众号