【转自:搜狐-中关村互联网金融研究院《剑桥大学发布2020版<AI全景报告>全文177页》2020.10】
该调查的两位主要作者NathanBenaich与IanHogarth均来自剑桥大学。
一、人工智能研究进展
人工智能领域的发展虽然伴随着开源的框架和活跃的社区,但在今年报告的开头,我们还是需要以数据说话,首先明确一点:AI研究的开放性并没有我们想象的那么高。
在深度学习框架上,正如我们最近所感受到的,在各个AI顶会的论文中,研究人员已经广泛使用了PyTorch,其抢占了大部分原来TensorFlow的位置。
在GitHub上,PyTorch相比TensorFlow也有更多的新研究实现:据统计现在约有47%的实现是基于PyTorch的,而TensorFlow的大约为18%。
另一方面,大尺寸模型正在推动着NLP领域的技术进步,OpenAI的GPT-3等新研究已经把深度学习模型的参数数量推到了千亿。根据目前的云服务算力价格,训练每1000参数的模型平均需要1美元,拥有1750亿参数的GPT-3可能需要花费百万美元级别的费用,有专家认为这一数字超过了1000万美元。高昂的训练费用,让研究人员们在探索新方向时遭遇了挑战。
在AI模型训练需求越来越多算力的同时,传统计算机架构却在逐渐接近摩尔定律的终点。MIT等大学的研究称,科学家如果希望将ImageNet数据集图像分类任务的错误率从11.5%降到1%,可能需要数百亿美元的投入。
不过,人们也在研究提高模型效率的方法,OpenAI的统计表明:自2012年起,训练深度学习神经网络进行ImageNet图像分类要想达到特定的水平,其所需的算力每16个月减半。
毋庸置疑的是,GPT-3、BERT等模型已经让NLP领域的研究进入了新的阶段。现在甚至出现了自动翻译编程语言的无监督机器翻译工具。在GitHub上把C++函数翻译至Java准确率达到90%。
技术的快速发展源于人工智能领域的高研究力度。据统计,全球有关AI方法(深度学习、NLP、计算机视觉、强化学习等)的论文数量自2017年起每年增长50%,在2020年,我们可能将会看到超过21000篇AI领域的新论文。
不过,当前的大多数机器学习应用是通过统计来实现功能的,其忽略了人类学习知识的重要方法——因果推理。在为患者寻找诊疗方案等任务中,因果推理是更好的方式。JudeaPearl、YoshuaBengio等人工智能先驱者都认为,因果推理是使得机器学习系统更好地泛化,更强大稳健,并为决策作出更大贡献的新方向。
二、AI人才:美国占主导
人工智能领域研究者的分布情况近几年呈现出几种新的趋势。
人才流动
首先,学术界面临人才外流的情况,美国许多研究教授离开大学,前往科技公司任职。从2004年至2018年,谷歌、DeepMind、亚马逊、微软已经从美国大学聘请了52位终身教授。卡内基梅隆大学、华盛顿大学和伯克利大学在同一时期失去了38名教授。值得注意的是,仅2018年一年就有41位AI教授离开。
从AI顶会的角度看,在中国有过教育经历的研究者近几年为AI领域的研究做出了突出贡献。以人工智能国际顶会NeurIPS2019为例,接收论文的作者中有29%都曾在中国获得本科学位。
但是从国内的大学毕业后,继续在NeurIPS上发表论文的毕业生中有54%都去了美国。
在人工智能领域里,美国仍然是国际研究的中心,有90%在美国毕业的留学博士都会留美继续工作。
而非美国籍的AI博士毕业生毕业之后很有可能到大型科技公司就职,而美国籍的博士毕业生更有可能去初创公司就职或加入学术界的研究行列。
与此同时,许多AI领域的美国博士毕业生毕业之后会前往英国和中国就职。
接下来我们再从研究机构的角度分析一下AI领域的概况。
以NeurIPS2019为例,谷歌、斯坦福、卡内基梅隆大学、MIT和微软发表的论文数量位居前五。
人才供不应求
作为当下最热门的研究领域之一,AI领域的人才需求不断增长。许多一流大学也在扩大AI专业的招生规模。以斯坦福为例,最近几年斯坦福AI领域的学生是1999-2004年的十倍之多,与2012-2014年相比AI领域学生数量也是翻了一倍。尽管如此,来自Indeed的数据显示,招聘职位的数量仍约为求职者数量的三倍。
但不可避免的是,2020年人工智能领域的人才市场受到了新冠疫情的严重影响。根据领英发布的数据,2020年机器学习领域职位原本强劲的增长趋势在2月受到打击,开始下滑。
三、业界快速发展
人工智能设计的药物,在日本已经开始了一期临床试验。在人工智能医疗领域,众多创业公司收集了巨额资金,实现了「平台战略」。
说到人工智能最引人关注的自动驾驶。自2018年以来,在加利福尼亚州拥有自动驾驶汽车测试许可的66家公司中,只有3家被允许在没有安全驾驶员的情况下进行测试,其分别为Waymo(谷歌)、Nuro和AutoX。
即使在政策最为开放的加州,迄今为止自动驾驶汽车的行驶里程相比人类也是微不足道——自动驾驶汽车公司在2019年的自动驾驶里程比2018年增加了42%。但这仅相当于2019年有驾照加州驾驶员行驶里程的0.000737%。
使用每次人工干涉之前,汽车自动驾驶的行驶里程作为评判标准,其实不一定是最客观的。在美国一些州,驾驶员双手完全脱离方向盘的行驶里程并没有记录。
不过最近,我们看到了这项数据的新变化。百度的自动驾驶已经达到了人工每次干涉之间18,050英里,超过了Waymo(谷歌)的13,219英里。对于不断加强AI投入的百度来说,最近的投入已经开始得到回报。
自动驾驶领域的公司,必须要有强大的资金支持。13亿美元被亚马逊收购的Zoox,其自2015年以来收获的融资已超过了9.55亿美元,Zoox最新的估值约为32亿美元。交易文件显示,Zoox在2020年初每个月要烧掉3000万美元。
国内的出行公司滴滴最近也把自动驾驶业务剥离,并从软银远景基金等机构筹集了5亿美元。今年7月,滴滴在上海推出了自动驾驶汽车服务。
目前,自动驾驶系统中的大多数机器学习算法只专注于车辆周围的事物,并基于工程量巨大的手写规则。研究人员正在开发类似于AlphaGo,学习大量人类驾驶经验进行训练的新算法。最近,Waymo、Uber和Lyft都展示了模仿学习和逆强化学习的新技术。
自动驾驶等领域的发展也需求大量算力,Graphcore、英伟达等公司今年推出的新一代芯片成为了人们的希望。
政策变化
除了AI研究方向之外,人工智能应用的快速落地也引起了人们对于隐私和伦理的担忧。
微软删除了其1000万张人脸的数据库——这是目前可用的最大数据库。数据库中的人脸是从网络上抓取的,并未取得当事人的许可。
纽约大都会运输署(MTA)要求苹果允许乘客戴口罩时启用FaceID,以防止新冠病毒扩散。
美国继续在军用AI系统上投入大量资金
随着机器学习技术的落地,军方在该方面的探索也越来越多,尽管我们尚不清楚这一趋势对现实世界的影响程度。
美国总务管理局和美国国防部联合人工智能中心授予博思艾伦咨询公司一份为期5年、总共8亿多美元的订单,内容简介中包括「数据标签、数据管理、人工智能产品开发」等关键词。
在国防层面,还有更多与此相关的AI公司正在获得丰厚的政府合同和风险投资。戴尔旗下Pivotal软件公司获得了美国国防部1.21亿美元的合同,还有一些从事无人机、高分辨率卫星地图、信息管理等业务的公司获得了大量风险投资,例如Anduril、Rebellion、Skydio。
美国国防部高级研究计划局(DARPA)组织了一场虚拟空战大赛,一众AI系统相互竞争,最终胜出的「选手」、苍鹭系统公司开发的顶级AI以5:0的成绩击败了人类飞行员。
从AlphaGo、AlphaStar到AlphaDogfight,借助深度强化学习技术,人工智能正在更多的领域击败顶尖人类选手。这也充分说明,在游戏对战环境中所训练的取胜技术,可以迅速迁移到军事环境中。被击败的飞行员表示:「作为战斗机飞行员,我们往常的标准操作方法已经不起作用了。」
美国国防部长MarkT.Esper表示,这些在模拟战斗环境中训练的算法,将在2024年应用于真实世界的战争中,包括全尺寸战术飞机。机器学习将对未来世界的战争产生结构性影响,他指出:「那些率先利用最新迭代技术的人,往往会在未来战场上占据决定性优势。」
两大AI顶会采用全新的道德规范
NeurIPS和ICLR都提出了新的伦理规范,但并未强制代码和数据共享。以人工智能领域最顶级会议NeurIPS为例:
NeurIPS将创建一个专门的子团队,由机器学习和伦理学交叉领域的专家组成。
NeurIPS现在要求论文作者提交关于「该工作可能产生的更广泛的影响,包括道德方面以及未来的社会影响」。
鉴于Facebook和谷歌等公司在NeurIPS中的影响力日益增强,因此「作者必须提供明确披露资金来源以及竞争利益点」。
NeurIPS「强烈鼓励」共享数据和模型,但没有强制性规定。
在这方面,机器学习领域落后于生命科学领域,例如在Nature期刊上发表论文的条件之一是,作者必须「及时向读者提供材料、数据、代码和相关协议」。
华为在智能手机领域的主导性增强,并在机器学习技术上大量投资
这也是9年来第一次由苹果和三星之外的公司占据了市场领先地位,但到了2020年9月中旬,由于美国的制裁,华为面临着芯片供应的困境。
使用美国芯片制造设备的外国公司必需获得美国政府的许可,才能向华为提供某些芯片。华为消费者业务CEO余承东在中国信息化百人会2020年峰会上表示:「我们手机业务现在很困难,芯片供应困难,很缺货。」
华为的麒麟AI芯片由台积电代工,受到美国制裁政策影响,台积电接受的最后一笔订单是在2020年5月15日。目前,华为正尝试向中芯国际(SMIC)寻求芯片制造方面的支持。
但台积电在研发支出和半导体制造方面仍占据业内主导地位。台积电的研发费用与中芯国际的收入相当,前者是目前唯一商用5nm制造工艺(N5)的制造商,目前正致力于3纳米制造工艺,其功率效率比7纳米高出2倍,性能比7纳米高出33%。不久之前,中芯国际也表示,2020年会将资本支出增至67亿美元(高于原定目标31亿美元)。
未来展望:8个趋势
在最后一部分,剑桥2020年度AI全景报告给出了关于未来12个月的8项趋势预测。
1、搭建更大语言模型的竞赛仍将持续,我们将会见证第一个10万亿参数级模型的诞生。
2、基于注意力的神经网络将从NLP领域迁移到CV领域,实现新的SOTA。
3、随着母公司战略的调整,一家大型企业的AIlab即将关闭。
4、作为对美国国防部活动和美国军事AI初创公司融资的回应,一部分中国和欧洲的国防AI企业将在未来的12个月内融资超过1亿美元。
5、一家头部AI药物发现初创公司(比如Recursion、Exscientia)要么进入IPO,要么以超过10亿美元的价格被收购。
6、DeepMind将在结构生物学和药物发现方面取得重大突破。
7、Facebook将凭借3D计算机视觉技术在AR和VR上取得重大突破。
8、NVIDIA最终不会完成对Arm的收购。