首页

AI大觉醒:图灵奖得主Bengio称AI将产生意识 ,未来机器学习核心是注意力机制

新智元 2020快三预测-04-29 13:03



  新智元报道  

来源:venturebeat

编辑:梦佳

【新智元导读】人工智能是时候该觉醒了吗?在本周的2020快三预测 ICLR 大会上   ,图灵奖得主Yoshua Bengio针对AI和机器学习的未来阐述了他的最新见解。他讲到未来机器学习完全有可能超越无意识 ,向全意识迈进。而注意力机制正是实现这一过程的关键要素。「新智元急聘主笔、高级主任编辑 ,添加HR微信(Dr-wly)或扫描文末二维码了解详情。」


人工智能会产生意识吗?

这是一直以来美剧《西部世界》中探讨的问题。AI主人公觉醒 ,意识到这个世界是人类杀伐主宰的乐园 ,于是开启了逆袭之路。

 
在本周举行的2020快三预测年ICLR上   ,图灵奖得主、蒙特利尔学习算法研究所主任Yoshua Bengio对AI和机器学习的未来提供了最新的见解。他讲到未来机器学习完全有可能超越无意识 ,向全意识迈进。而注意力机制正是实现这一过程的关键要素。

这位大咖2月份刚刚在纽约的2020快三预测年AAAI 会议上  与图灵奖获得者 Geoffrey Hinton 和 Yann LeCun 一起发表了演讲。而在ICLR的演讲中 ,Bengio 阐述了他更早之前的一些想法。


注意力机制是啥?

 
注意力机制来源于人类的视觉注意力 ,是人类在进化过程中形成的一种处理视觉信息的机制。最简单的例子 ,比如看一个图片 ,会有特别显眼的场景率先吸引注意力 ,因 为大脑中对这类东西很敏感。


‍‍注意力是神经科学理论的核心 ,该理论认为人们的注意力资源有限 ,所以大脑会自动提炼最有用的信息。

在机器学习的语境下 ,「注意力」指的是一个算法关注一个或同时关注到几个元素的机制。它是一些机器学习模型架构的核心。2017年 ,谷歌论文Attention is All You Need当中提出了Transformer ,一个利用注意力机制来提高模型训练速度的方法。Transformer在一些特定任务中性能表现超过Google之前的神经机器翻译模型。

Google Transformer架构

目前 ,注意力模型(Attention Model)已经在自然语言处理、图像识别以及语音识别等领域取得了最先进的成果 ,是深度学习技术中最值得关注与深入了解的核心技术之一。注意力模型也是构成企业AI的基础 ,帮助员工完成一系列认知要求高的任务。


类比人类思维 ,靠直觉还是靠推理?


Bengio 在演讲中谈到了美籍以色列心理学家兼经济学家 Daniel Kahneman 在他2011出版的开创性著作《思考 ,快与慢》中提出的认知系统。
 
             
 
第一种认知类型是无意识的(快系统) ,凭直觉 ,非常快速 ,非语言性的 ,基于惯性 ,它只涉及隐含的知识类型 ,是人潜意识中的知识 ,深藏于脑海中。
 
简单说 ,这种过程不费脑子 ,第一反应 ,直觉地做出回应。比如说 ,思考1+1=2的过程

当然这种直觉思考的过程会产生很多偏差 ,比如说曝光效应 ,光环效应等。曝光效应一个最明显的例子就是电视广告 ,天天重复播放的信息给你洗脑 ,会在人的大脑里构成曝光效应 ,让你觉得这个产品好。直觉很多时候是非理性的。

第二种认知类型是有意识的(慢系统) ,基于语言学和算法 ,要涉及更高级一些的推理和规划 ,以及显性的知识。换句话说 ,是需要费力思考的 ,比较慢 ,比如说脑内运算158乘以67。
 
正是快和慢的结合构成了我们人类的思维模式。

Bengio将这个人类的有意识思维和AI进行对比 ,他指出 ,有意识的认知系统的一个有趣特征是 ,它可以在新的情境下 ,将语义概念进行重组 ,这也是人工智能和机器学习算法所具备的特性。

某种程度上   ,AI和机器学习算法比人脑的直觉要更加理性。

这让人想起《西部世界》的科学顾问 ,神经学家大卫·伊格尔曼(David Eagleman)说的一句话 ,意识 ,是一种突破程序设定的连接。我们能够复制大脑的算法;如果这个算法等同于意识 ,那意识也理应可以被复制和转移。

         
意识从无到有 ,未来AI不再「跟着感觉走」?

目前的机器学习方法还没有完全超越无意识到全意识 ,但是 Bengio 相信这种转变未来是完全有可能的。

他指出 ,神经科学研究表明 ,有意识的思维中涉及的语义变量往往是含有因 果关系的ーー它们涉及的对象可控 ,比如说意图。换句话说 ,不再跟着感觉走 ,是有逻辑和目的性在其中。

同时 ,语义变量和思维之间存在映射关系 ,例如词语和句子之间的关系 ,而且已有的概念可以进行重新组合 ,形成新的、不熟悉的概念。

注意力正是实现这一过程的核心要素之一 ,Bengio 解释道。

在此基础上   ,他和同事们在去年的一篇论文中提出了循环独立机制(recurrent independent mechanism ,RIMs)  ,这是一种新的模型架构 ,在这种架构中 ,多组单元独立运作 ,相互之间通过注意力机制交流。前者保证了专业 ,后者保证了泛化。


实验一目标是 ,证明 RIM 能够改善模型在不同环境和模块化任务中的泛化效果。该研究不关注该方法是否超出高度优化的基线模型 ,而是想展示该方法面对大量不同任务时的通用性 ,且这些任务的环境是不断变化的。 

             
图 10:RIM 与 LSTM 基线模型的对比。在这 4 个不同实验一中 ,研究者对比了 RIM 和两个不同的 LSTM 基线模型。在所有案例中 ,研究者发现 rollout 过程中 ,RIM 比 LSTM 更准确地捕捉到球的运动轨迹。
 
实验一结果表明 ,RIM具备专门化(specialization)特性 ,可大幅提升模型在大量不同任务上  的泛化性能。

「这使得智能体能够更快地适应分布的变化 ,或者... ... 推断出变化发生的原因  ,」Bengio 说。

他又讲到想要打造「有意识」的AI系统面临几大挑战 ,包括训练模型进行元学习(或理解数据中的因 果关系)  ,以及加强机器学习和强化学习之间的集成。但他相信 ,生物学和AI研究之间的相互作用最终将解开这把神奇的钥匙 ,使这些机器可以像人类一样推理 ,甚至表达情感


「神经科学早已开始研究意识相关的问题了... ... 在过去的几十年里取得了很大进展。我认为现在是时候将这些进展纳入到机器学习模型当中了。」Bengio在演讲中表示。

看来西部世界中的世界也不远了...


参考链接:


https://venturebeat.com/2020快三预测/04/28/yoshua-bengio-attention-is-a-core-ingredient-of-consciousness-ai/

https://www.zhihu.com/topic/20127515/hot

https://cloud.tencent.com/developer/article/1519944



本站根据用户申请收录文章 ,版权归原作者所有
如若侵权 ,请联系ershicimi@163.com删除