在本周由于大流行而实际上发生的2020年国际学习表示会议（ICLR）期间，图灵奖获得者和蒙特利尔学习算法研究所所长Yoshua Bengio概述了AI和机器学习的未来技术。他于2月在纽约AAAI人工智能大会2020上与图灵奖获得者Geoffrey Hinton和Yann LeCun一起发表了讲话。但是在周一发表的一次演讲中，本吉奥阐述了他的一些早期主题。
其中之一就是关注-在这种情况下，人（或算法）一次专注于单个元素或几个元素的机制。它对于像Google的Transformer这样的机器学习模型体系结构以及意识的瓶颈神经科学理论都是至关重要的，后者表明人们的注意力资源有限，因此信息在大脑中仅被提取到显着的位置。受到关注的模型已经在自然语言处理等领域获得了最先进的结果，它们可以构成企业AI的基础，该AI可以帮助员工完成一系列认知方面的任务。
本吉欧（Bengio）在开创性著作《思考，快与慢》（Thinking，Fast and Slow）中描述了以美籍美国心理学家和经济学家丹尼尔·卡尼曼（Daniel Kahneman）提出的认知系统。第一种是无意识的 -它是直观，快速，非语言和习惯性的，并且仅处理隐性知识。第二个是有意识的 -语言和算法，并结合了推理和计划以及明确的知识形式。有意识系统的一个有趣特性是，它允许操纵可以在新颖情况下重新组合的语义概念，Bengio指出这是AI和机器学习算法中理想的特性。
当前的机器学习方法尚未从无意识转变为完全有意识，但是Bengio认为这种转变完全在可能范围之内。他指出，神经科学研究表明，意识思维中涉及的语义变量通常是因果关系的-它们涉及诸如意图或可控对象之类的事物。现在还可以理解，语义变量和思想之间存在映射关系（例如，单词和句子之间的关系），并且可以将概念重新组合以形成新的和不熟悉的概念。
Bengio解释说，注意力是此过程的核心要素之一。
在此基础上，他和他的同事在最近的论文中提出了循环独立机制（RIMs），这是一种新的模型体系结构，其中多组单元独立运行，仅通过注意进行少量交流。他们表明，这导致了RIM之间的专业化，从而可以改进对培训和评估之间某些差异因素不同的任务的通用化。
Bengio说：“这使代理能更快地适应分布或…的变化，以便发现发生变化的原因。”
他概述了意识系统道路上的一些重大挑战，包括确定方法以教授元学习模型（或理解数据中包含的因果关系）以及加强机器学习和强化学习之间的集成。但是他相信，生物学和人工智能研究之间的相互作用最终将释放出可以像人类一样推理甚至表达情感的机器的钥匙。
“意识已经在神经科学中进行了研究……在过去的几十年中取得了很大的进步。我认为机器学习是时候考虑这些进步并将其纳入机器学习模型了。”
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。
