中国领先的IT技术网站
|
|

焦李成教授:人工智能时代后深度学习的挑战与思考

7月21日上午WOTI2017主会场,西安电子科技大学教授、中国人工智能学会副理事长焦李成先生进行了主题为《人工智能时代后深度学习的挑战与思考》的精彩演讲。51CTO记者将持续为您带来WOTI2017全球创新技术峰会前方精彩报道。

作者:刘妮娜来源:51CTO|2017-07-21 11:25

开发者大赛路演 | 12月16日,技术创新,北京不见不散


【51CTO.com原创稿件】2017年7月21日-22日,由51CTO主办的以人工智能为主题的WOTI2017全球创新技术峰会在北京富力万丽酒店隆重举行。峰会期间,30+AI明星,数十场围绕人工智能主题的精彩演讲与圆桌论坛缓缓揭开面纱。除了场内的精彩演讲,场外还有专门为AI爱好者搭建的动手实验室和科技体验区,这一切都让本次大会亮点十足。

7月21日上午WOTI2017主会场,西安电子科技大学教授、中国人工智能学会副理事长焦李成先生进行了主题为《人工智能时代后深度学习的挑战与思考》的精彩演讲。以下是演讲实录,让我们先睹为快!

西安电子科技大学教授、中国人工智能学会副理事长焦李成先生

非常高兴,也感谢大会组委会的邀请。我刚才听了前面的报告,现在讲这个报告有压力,但是也有动力,什么意思呢?昨天大家都关注的一件事情,国务院下一代人工智能计划正式颁布,这个对全国人民全世界人民都是一件大事,应该说酝酿已久的人工智能2.0终于出台,但这个计划说不准,可能会在800到1500亿国家政府的投入,希望能够在10到15年时间做一点事情。另外一个,因为前一段时间,我作为人工智能学会副理事长,也一直在参与智能人工技术一级学科论证,在这个计划中间也体现了人工智能学科和人才培养相应的计划。第三个,昨天晚上,有的专家可能会收到,有的还没收到。国家基金委信息学部要成立六处,因为以前都知道有电子信息、计算机控制、光电、半导体,很综合,现在增加的六处就是人工智能处,把原来的几乎与人工智能相关的研究方向、领域都列到了六处。以后报国家自然基金,不管各类项目,包括优青、杰青、重大,都会在六处进行评审。这三件事情和我们在座每位同志都有关系。所以我说讲这件事情对我们来讲也是一个非常好的起点。为什么要讲人工智能时代的深度学习的挑战与思考?

讲这个问题也难也容易,难的是太深的我也不知道,容易的是人工智能都很热,大家都很清楚。我是三十年前开始从事这个领域的学习和研究,那个时候我大概做了将近二十年的大会报告,很少有企业参与,基本上都是学术界在做,因为很少有企业界有这样的动力,或者说有这样的成果,有这样的发展。现在从深度学习开始也仅仅只有几年时间,发展到这样,应该说没有哪个公司不参与,没有哪个公司置身事外,没有哪个大学不参与,没有哪个领域不涉及。从这个意义上讲,这个领域成为大家关注的,所以热大家也就感兴趣。但是到底这个领域应该往下怎么发展,深度和人工智能是一个什么样的关系。应该说这永远是一个值得探讨的话题,或者说现在是理论准备好了,剩下只管用;还是说理论还是要更深的发展,讲理论的人说这个理论发展不够,技术很薄弱。讲应用的人说你看我用的多好。这两个之间的认知有多大的差别,我们应该怎样理解这样的差别?

我大概从四个方面来回顾。

我们这个时代的机遇,深度的机遇,尤其是大家都在讲深度有多少年的历史,其实从国内国外来讲,也就十年的历史,前边有神经网络,没提深度,所以说也没那么热。第二,神经网络本身发展的历史很长,但是从第一个神经元的模型或者MP的模型,从神经网络的第一个学习规则算起到现在也已经有七十年的历史,从某种意义上讲,比人工智能的历史还要早十年。第三,深度学习作为人工智能领域中间大家关注的领域,现在我们应该关注哪些问题。第四,将来深度学习到底向哪个方向发展,我们做一些探讨。

第一, 深度学习现在这么热,神经网络也研究了那么多年,为啥中间有段时间没热起来呢?原因到底在哪里?其实这三件事应该说结合在一起才有基础,缺一不可。神经网络发展到现在,包括深度的基础理论,这个时代基本成熟。但神经网络的应用,尤其面向大数据,面向现有快速发展计算平台的时候,它才找到了自己的机会。所以说,大数据、神经网络新的模型或者新的算法,加上现有的能够满足深度学习和训练的高性能的计算平台,使得深度学习遇到了新的机遇。既然是基于数据的,其实我觉得对于数据的特性应该有更深的了解。我们有那么多的数据,但是了解多少?数据里包含多少黄金,期待我们去挖掘,这是一件值得探讨的事情。

同时,随着计算机技术的发展,或者集成电路技术的发展,大家都一窝蜂的GPU,每个人都知道GPU是不现实的,这个时候深度怎么算,深度怎么用,深度怎么能够进入到各个实验室、千家万户,进入到研究生的桌前,也是值得探讨的。当然,哪些人工智能的领域,哪些人工智能应用的领域,值得我们用深度去做它,也是需要探讨的。所有这些,都只是刚刚开始,而不是说已经到了非常成熟的地步,当然,这是我个人的观点。

第二, 讲到神经网络的七十年,虽然大家都很熟悉,大会组委会也一直叮嘱我给大家讲一些干货。但我想这一页是我最想讲的,神经网络发展七十年,这七十年的历史辛酸、曲折,到现在大家是在享受这七十年带来的辉煌。但是回顾过去是为了更好的把握现在,也是为了更好的创造未来。这张图里大家看到的都是所谓深度的明星,深度的热点,应该说他们对深度的学习起了非常重要的推动作用。但是不要忘了,神经网络和深度学习能有今天,起到非常重要的奠基性作用的人,这个我多花几分钟。三层神经网络,BP虽然算的很慢,但第一次表明了任意复杂的问题是可以学习的,是可以训练的,同样是可以分类、识别、推理和理解的,这件事情理论上讲是可行的,只是现在提到的真正要用到的地步,它的推广能力怎么样,它的精度怎么样,它的效率怎么样,是应用的瓶颈问题,而不是理论的瓶颈问题。

第三, Hebb学习预测,包括MP模型,第一次提出感知器的时候,那是人工智能第一次刚提出非常辉煌的时候,他第一次给出了可学习的单个神经网络模型,之后给出的模型是斯坦福大学、美国科学院的院士,他给出了一个模型,这个模型也表明了系统可以学习,现在大家普遍用的信号处理的基本算法,就是神经网络的算法。这是很辉煌的时候,由PC机的发明者提出的。这段时间神经网络发展非常辉煌,一批科学家为其奠定了很好的基础。

哈佛大学毕业的Rumelhart,也是美国后来自然科学基金会的主任,他发明了BP算法,这个人大概就一米六的个子,但蕴涵无穷的能量。按照现在的观点,他的论文不能毕业。这段时间他也很艰苦,找工作也很困难,没有基金,没有钱。到八十年代初,特别要提到的人,提到的团队,第一个是美国科学院的院士,也是物理学家,三篇文章奠定了他在科学界的地位。两篇是连续的网络模型及其神经网络的应用,也就开辟了神经网络在组合优化问题中的应用,三篇文章就奠定了他在这个领域的地位。

第四,    所以说这些人奠定了神经网络的基础。我是在八十年代中期开始接触网络,引以为自豪的中间有几个人,蔡少长(音)、汪德亮(音),包括现在在香港政府的徐雷(音),也提出了随机的算法,一批华人在这个领域当时有重要的贡献。

请记住,这一批人在不同领域,但都是九十年代神经网络的先驱,北京大学的石先生都是在做神经网络,你们做的深度识别、人脸识别就是石先生开辟的。再到后来西南交大的科研专家,上海交大的一批人,包括现在中科院的科学家,他们都是神经网络领域做的非常好的,还有东南大学,北京邮电大学等等。他们有力推动了神经网络的发展,正是因为有了他们才有了今天的发展,但那个时候很少有企业界参与,所以没有现在辉煌。但这个发展正好奠定了现在深度学习的基础。

现在的深度热,其实已持续了相当长的时间,第三次再发现BP算法,但是那个时候实现起来、应用起来大家都感觉到,关键是应用需求没有那么广,所以那时没有传播那么快。再过十年,大概是06年,才开始有这些人的出现。真正用起来是2010年左右到现在,才有这样的发展。所以我用了比较长的时间讲神经网络七十年,是为了说明深度的来之不易,而且深度是前人,这些先驱奠定的工作。应该说,那个时候我们做大会学术报告很少有企业界参与,因为没有那么多需求。

第三个,深度学习集中在什么地方,现在好像深度无处不在,好像到处都能用,好像各个都有结果。其实我想说的是,刚刚开始,看到的都只是表面上的东西,真正离解决问题还有很长远的距离。深度是能解决许多问题,深度是基于用数据,用序列,用优化的办法来达到我们所求的最优解,这是深度所需要的,深度所擅长的,也能用得上的。当然也得益于计算技术的发展,所以大家最直接看到的是AlphaGo、无人超市,亚马逊首席科学家之一就是我的学生,他在美国已经待了将近十年,他们花了四年时间做了亚马逊Go,应该说,科学无国界,深度无国界,大家用的很广。但我想说的是,看到自然语音处理、头像处理、刷脸,昨天刷脸比赛,前三名又是中国人。我想我们不要满足于这个,包括科大讯飞给总理翻译的时候,示范了深度神经网络的应用或者学习的应用。当然,真正的应用还在后面。

我想说的两个问题是现在深度没有解决的,第一个,我们现在讲的是基于大数据,小数据怎么样?大数据完了以后,即使是大数据,同样针对复杂的问题是小样本。第二个,百度、阿里、苹果、Google他们能消费得起,老百姓消费得起吗?老百姓消费不起的时候怎么样用深度做大数据,所以说这些问题都是相辅相成的。第三个,现有的基本模型,打遍天下无敌手的CNN是有很多局限的,从这个意义上讲,大家看到了它的辉煌,但我更想说不够,对于知识的处理,远远没有到位,因为想让机器和人一样做,但我们面对更多的是知识,而不是数据,这个时候想让机器像人一样能听会看会说,还能道听途说,我总觉得这中间没有知识的运用是不够的。很多专家讲过,基于数据的,基于知识的,同时小样本的问题,值得我们去探讨。在这个意义上讲,深度模型真正要达到对所有这些简易,我们讲分类识别,说实话,还没有到简易的地方,做到只可意会,不可言传,能够谈情说爱的地步,或者一个语言一个表情能够表达很深含义的地方,我们还有很长的路要走。

到现在为止,我这个名字起的有点自己把自己掉坑里。第一代深度都是大家很熟悉的,但是很初步的,我个人认为是应用的模型,又是练习的模型,真正我刚才说的这些问题要去匹配,要去求解,现在第二代深度已经能够崭露头角,其实很多模型刚刚出来。我最终的想法也是希望能够把第二代神经网络介绍的细一点。怎么样能够对感知、决策、简易、认知、推理,当然,硬件技术发展也要匹配这样的需求。我想说的是,这个时代你的数据,你的模型,你的计算,怎么样能够协调的统一,这个东西不统一,任何一个再强,你的潜力是发挥不出来的。所以说,这是我借用徐宗本老师的话,人工智能一类是模拟人脑工作机制,我想说的是模拟自然机制,另一类是快速认识,这两条路都是智能之路,深度还涉及不到。第二个是无人驾驶,所有对环境的感知,对地理的感知,这个应该怎么做,我觉得还是不够的。所以很多模型是因为数据的特性而生成的,第二类模型更面向于问题,而不是构架。无人超市只是个平台,只是个由头,真正涉及到的是更贴近大众化为老百姓服务的智能行为,智能到底有多远,我问过亚马逊Go,就是计算机识别传感器融合,深度学习,获取数据,准备训练数据,分类学习,有效识别,构成了现在的亚马逊Go。

机器翻译不用说,过去做的很热,但也有瓶颈,现在深度学习使它获得很好的发展。

深度学习第一个是数据,第二个是模型,第三个是计算,这里的模型和原来机器学习一样,同样涉及到模型选择的问题,因为任何问题不是说拿一个通用模型能解决的,如果拿一个通用模型都解决了就不用我们这些人做了。所以说,模型选择是和数据、和问题匹配的第一步,从这个意义上讲,怎么样去做,还有很长的路要走。

我们这里做了两件事,第一个是建立平台,我们建了两套,第一套是图像数据的,第二套是大数据的,深度学习平台,这个平台是以人民币为代价的。我们下一步做的两件事情,把他们全部变成硬件芯片嵌入系统,当然,这上面我们做了一些工作,没有这个平台做起来很困难,做这个也是因为我们有国家的需求。我们做的这些问题,深度卷积网络模型,这里的卷积我们考虑了两个问题,第一个是拿哪些数据,拿哪些样本送进去训练是有讲究的,人是通过声音、语言、文字、图像的这些传感器获得关键的、吸收的重要的信息,送到大脑里,用脑神经元网络进行处理,是这样一个过程。而现在的深度学习很少考虑,虽然图像数据占80%,但图像数据是怎么获得的,里面蕴涵哪些内容,哪些是关键的,哪些是不关键的,这个时候是有讲究的。

另外,从结构,从并行处理,一直到中间怎样简化数据,怎样优化目标的输出,用什么样的高效训练算法,做了一些选择。这里我们也用不同的模型进行了交叉验证,也进行了相应的比较。这个是我们做出来的,对高分辨结果做出来的结果,应该说相当清楚。这个是对下面实时跟踪的。另外两件事情,对偶范式,利用稀疏性、生成性,三个匹配做一件事情。对偶学习对深度学习有指导意义,从这个意义上讲,我对偶是受损的,但可以用来为深度服务,建立模型,建立算法服务,它会使你的问题变得简单的多,有效的多。另外一个,稀疏性,我们做了相当长的时间,中间承担了国家重大项目,例如973项目,人脑学习一定是一个learning,同时它的表示也是稀疏的。从这个意义上讲,我们深度应该关注的一个重点方向,也就是说,要像脑子像自然学的更像一点,稀疏性不可或缺。另外一个,对于现在的智能行为模拟,简单深度是不够的,面向数据,面向模型的选择,生成性、判别性、学习性和测试,必须是有机的结合在一起,才能使一个通用的理论性的算法变得更加有效,变得和真正的大数据复杂问题相匹配。

我想说的是,不是哪个模型更好,而是对数据进行必要的处理和编码,使你的模型变成有效模型的关键之一,从这个意义上讲,有好多工作要做。这是我们做的,对于各种图片之间风格的转换。我们实验室从2013年到现在,三个小团队,获得三个国家自然科学二等奖,我们高老师团队就是从照片生成图像,从素描再生成照片,相互转换的过程中间,做出了非常出色的结果。包括今年拿到国家自然科学基金二等奖,都是找到了稀疏表征的有效办法,才使得后面的学习和训练更加有效。这个我不想说了,是细的,他们的逻辑结构。

我想说的是,大家看到的是网络应用,其实遥感应用更加复杂,我们每天每个人拿着你们的微信,拿着你们的手机,滴滴打车,所有的GPS定位都是海陆空感知、处理、学习和识别,从这个意义上讲对遥感的处理是我们现在非常重要的。我们国家非常庆幸的有白斗系统,构成我们自己的有自主知识产权的系统。利用神经网络平台,不仅是高效的、并行的,同样也是分布的,这个话大家都在说,但实际上你要把它真正变成现实,变成你有效的学习、训练、分类算法,你要从模型、软件、硬件,包括数据的优化、调度和管理,不是一件容易的事情。我们大概做了这样一件事情,生成网络,生成对抗,包括能够体现感知与决策功能的强化学习模型。我觉得这件事情大家应该关注,从中国传统哲学家角度来讲,举一反三是非常重要的,我个人认为,我起了个名叫强化学习,我觉得这对它本质的内容是有感觉的,有的人就不一样。

对于未来我们怎么思考,我刚才已经讲到了。讲到未来一定讲到现在,基于数据的大家在做,但基于知识的远远不够,基于海量大数据是热了,但考虑小样本关键样本是不够的,基于通用的是够的,稀疏性是不够的,感知、推理和决策是摆在我们目前的任务,对于深度来讲,同样也是新问题。当然,围绕智能制造,围绕“互联网+”,围绕人工智能现在叫2.0或者下一代叫2.0,要做的事很多,这里不仅仅是大数据,你要把大数据变成你贴心的小棉袄,这件事情有很长的路要走。当然,模型是不够的,从这个意义上讲,未来的道路还很长,这个我想简单一点。未来能够和谐的进行感知、应用,人机共处,人做人的事,机器人做机器人的事,我觉得是非常好的一件事情,但是要做到不那么容易。包括后面用生成,用稀疏,还有很长的路要走,不是我们拿着CNN就打遍天下。

我们回顾了昨天,今天大家也共同讨论了一下,明天做啥?深度强化学习,深度迁移学习,从功能来讲,还要加上感知、学习、训练,一直到现在要加入反馈,加入知识,要把学习变成一个动力学,变成一个网络,还有很长的路,再往下一步我就不知道了。应该说我们有一个好的环境,这是建立大系统,也有好的团队,希望大家多交流。因为最近是连着的,包括前面的英特尔,包括阿里,包括华为,大赛我们都拿了很多冠军,这些都是用深度学习和机器学习做的。这是刚拿的华为冠军,智能盲杖,还有眼控轮椅和手控轮椅,我们把深度落在实处,大家可以简单看一下这个盲杖。

这些工具是实时的,也是用深度网络做的,包括我们最近做的眼控和手控,智能轮椅,至少对大家的健康做点贡献。我就讲这么多,谢谢大家。

51CTO记者将持续为您带来WOTI2017全球创新技术峰会前方精彩报道,敬请期待!

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【责任编辑:刘妮娜 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

热门职位+更多

读 书 +更多

ASP.NET 2.0数据库开发实例精粹

本书分为8章,首先介绍ASP.NET的开发技巧和重点技术,尤其针对初学者如何快速入门并掌握ASP.NET编程做了深入浅出的介绍;然后重点介绍ASP.N...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× 51CTO学院双十二活动