网站首页    信息智能    2020谷歌技术发展
  • A股4次著名“抱团”事件

    传统基建、消费升级、科技发展、金融扩张同时存在,在未来的一段时间内还是并存的格局。因此,映射到A股,四大板块——周期、金融地产、消费、科技(主要是TMT)机会轮动。而金融地产、消费、科技是机构投资者愿意持股的主要板块。因此A股出现了抱团轮动的特征。

    17 ¥ 0.00
  • 中国31个省市区重点产业布局

    天津未来产业发展重点1、壮大高端装备、新一代信息技术、航空航天、节能与新能源汽车、新材料、生物医药等十大先进制造产业;2、建设一批智能制造试点;重庆重点招商引资产业:IT产业、汽车摩托车产业、高端设备、新材料、节能环保、新一代信息产品……

    3 ¥ 0.00
  • 华尔街之狼2016年反向操作复盘

    比尔·阿克曼因手法激进,素有“华尔街之狼”之称。2020年开春,在桥水基金、文艺复兴科技等传奇基金可能面临亏损的时候,却在逆风而上。以2700万美元赢得26亿美元,收益率近百倍!2019年录得58%的收益,2020年累积取得年化70.2%。本文是他在2014-2018年间,反向操作而巨亏的一个复盘

    2 ¥ 0.00
  • 进击的早餐馒头

    早餐消费习惯的差异会是横亘在前的一个障碍。44%的消费者会选择吐司/面包作为早餐,并且这个数据仍处于上涨的趋势中,但超过4成的西式早点消费者无疑将大幅削弱中式早点增长空间预期。中式早餐连锁还是面临着便利店的竞争:选择在便利店早餐人群比例高达29%。

    3 ¥ 0.00
  • 产业链的地理距离

    地理距离对于贸易和产业聚集的影响极大。欧洲、北美、东亚三大经济高地,都是跟临近地区贸易金额极高。不管是RCEP还是阻断外国法律与措施不当域外适用办法,实际上都是确保变成东亚市场+东亚产业链VS美国市场+产业链的形态,利用地理优势加大长期竞争的胜算

    19 ¥ 0.00
  • BAT移动生态战争2021

    2021年,移动互联网生态中,算法推荐可能会受到抑制,或有一些数据运用的规则出台。同时收购获得行业领导地位的行为,也会在政策监管之下变得谨慎。买水的(买流量),送水的(精准匹配需求),造水的(知识化是最大的看点)移动生态之间增速的差异会开始显现。

    0 ¥ 0.00
  • 基础科研需要“讲实话”

    中国还远远没有到全球领先的科技地位。必须靠的是比人家优越,优越在哪里?优越在你的科技发展能力。科技发展能力靠的是什么?学术界。学术界靠的是什么?人力、财力和物力的投资。这些投资必须要用在刀口上,你不用在刀口上,后果之严重是非常明显的。

    3 ¥ 0.00
  • 迷失的日本文创战略

    “酷日本”本身沦为依靠品牌驱动、缺乏核心内容的空泛概念——从影视、动漫、游戏、出版、时尚、餐饮旅游乃至工业制品,几乎无所不包,凡是可以盈利的行业似乎都纳入其中,其自身只是成了一个毫无灵魂的容器而已。这正是“酷日本”创新发展战略当下最尴尬之处

    2 ¥ 0.00
  • 制造业能不能去西部?

    那些“制造业外流能倒逼产业升级”的鬼话,连信都不要信。自然环境、基础设施和耕地红线一直是制约中国西部发展制造业的掣肘。未来,交通网络、水电光伏的超级工程,目的是不断降低西部要素成本,让制造业留在中国,让就业留在中国,让有尊严的生活留在中国。

    5 ¥ 0.00
  • 顶尖高手是如何研究基本面的?

    研究商业模式的意义在于:1.是不是个好生意?2.这样的生意能够持续多久?3.如何阻止其他进入者?这三个问题分别对应:商业模式、核心竞争力和商业壁垒。三位一体则构成公司未来投资价值:盈利模式、实现前者的能力,壁垒是通过努力构筑的阻止其他公司进入的代价

    4 ¥ 0.00
  • 科学仪器,被拉大差距

    过去400年的历史一再证明:谁掌握了最先进的科学仪器,谁就掌握了科技发展的主动权。中国1000多家科学仪器厂,大部分产值低于1000万元。2018年数据:全球科学仪器行业TOP20,无中国企业。北京大学2009年一个调研结论是:过去20年,与发达国家相比,科学仪器差距逐步拉大。

    6 ¥ 0.00
  • 特斯拉秘密:软件收入

    特斯拉目前并未在其财报中单独披露最核心应用软件AutopilotFSD的收入:1、FSD在2020年7月1号,其价格已经上涨至8000美元/套(国内64000元/套)。2、OTA付费升级;3、车联网功能。根据可揭示FSD收入的核心变量——递延收入,预计FSD累计现金收入达到12.6亿美元,2019年现金5.6亿美元

    4 ¥ 0.00
  • 工业气体,一国化工考场

    工业气体,是现代工业的基础原材料,被誉为“工业血液”。工业气体产业考验的是一个国家的化工底子。中国工业门类齐全,工业产量充足,这是事实;有很多工业产品无法量产、依赖进口,这也是事实。能制造许多高技术的产品,也有大量产品根本没办法制造。

    2 ¥ 0.00
  • 全国文化产业投资基金概览

    文化产业发展渐入佳境,除了一些老牌文化产业投资基金,从中央到各省市、区县级地区,各级文化产业政府投资基金遍地开花。文化产业政府投资基金在兼顾社会效益和经济效益的同时,其自身也在不断成长。本文梳理了2014年至今,全国各地部分文化产业政府投资基金。

    3 ¥ 0.00
  • 温铁军:​RCEP与中国农业

    RCEP谈判中,农产品关税一直是个敏感话题。最终的谈判结果,除了日韩和个别最不发达国家,大多数成员达到90%以上农产品零关税的高水平。我国和日本之间首次达成农产品关税减让安排,日本六成以上、我国八成以上的农产品将互相取消关税。

    0 ¥ 0.00
  • 全球另类投资现状

    全球每年基础设施投资需要3.6万亿美元;房地产投资在2010年-2016年快速增长,2016年后增速放缓;对冲基金里,过去十年收益最高的类别是全球股票策略,其次是相对价值策略,收益最低的是全球宏观策略。对冲基金和传统60/40的投资组合在衰退和市场极端情况下相关性较低。

    0 ¥ 0.00
  • 疫苗玻璃瓶,造不出来

    中国人不光造不出疫苗用的玻璃瓶,还造不出圆珠笔上的钢珠,打火机上的垫片,很多“小”东西造不出来。有人据此骂中国制造不行,但其实不是的。中国制造只是缺少足够的时间,不能苛求每一步都走得无比扎实。不可否认的是,高速增长掩盖了发展中的许多问题。

    18 ¥ 0.00
  • 贝莱德CEO:创纪录资金正在流入中国

    “许多美国大公司在中国非常活跃,销售商品,对中国的贸易逆差从未如此之大,”“全球投资者都在奔向中国,而不是远离中国。”他欢迎与拜登政府讨论对华多边合作必要性。“有必要让全球第二大和第一大市场进行对话,有必要让多边主义构建一个更美好的世界”。

    2 ¥ 0.00
  • 2020谷歌技术发展

    2020年,随着世界被冠状病毒重塑,我们看到了技术可以帮助数十亿人更好地交流,理解世界和完成任务。GoogleResearch的目标是解决一系列长期而又重大的问题,从预测冠状病毒疾病的传播,到设计算法、自动翻译越来越多的语言,再到减少机器学习模型中的偏见

    1 ¥ 0.00
  • 马斯克新访

    我们正在进入一个新的阶段,在这个阶段触及范围得到了扩展。我们真的能很好地使用先进的技术?这将成为一场考验。这个问题最后会成为许多文明的过滤器:能利用好这些技术,同时不让自己被毁灭吗?人类拥有这些先进的技术,是不是就和给一个小孩一把枪一样?

    0 ¥ 0.00

【作者:JeafDean;来源:GoogleAIBlog;转载自:新智元《JeafDean万字长文回顾2020谷歌技术发展》2021.01】

 

JeffDean发了一篇几万字长文,回顾了这一年来谷歌在各个领域的成就与突破,并展望了2021年的工作目标。本文为部分编译,参考链接可以查看原文。

当我20多年前加入谷歌的时候,只想弄清楚如何真正开始使用电脑在网络上提供高质量和全面的信息搜索服务。时间快进到今天,当面对更广泛的技术挑战时,我们仍然有着同样的总体目标,那就是组织全世界的信息,使其普遍可获取和有用。

2020年,随着世界被冠状病毒重塑,我们看到了技术可以帮助数十亿人更好地交流,理解世界和完成任务。我为我们所取得的成就感到骄傲,也为即将到来的新的可能性感到兴奋。

GoogleResearch的目标是解决一系列长期而又重大的问题,从预测冠状病毒疾病的传播,到设计算法、自动翻译越来越多的语言,再到减少机器学习模型中的偏见。基于我们对2016至2019年的年度回顾,本文涵盖了今年的关键亮点。

 

01

新冠病毒和健康

 

COVID-19的影响给人们的生活带来了巨大的损失,世界各地的研究人员和开发人员联合起来开发工具和技术,以帮助公共卫生官员和政策制定者理解和应对这场流行病。

苹果和谷歌在2020年合作开发了暴露通知系统(ENS),这是一种支持蓝牙的隐私保护技术,如果人们暴露在其他检测呈阳性的人群中,可以通知他们。

ENS补充了传统的接触者追踪工作,并由50多个国家、州和地区的公共卫生当局部署,以帮助遏制感染的传播。

在流感大流行的早期,公共卫生官员表示,他们需要更全面的数据来对抗病毒的快速传播。我们的社区流动性报告,提供了对人口流动趋势的匿名追踪,不仅帮助研究人员了解政策的影响,如居家指令和社会距离,同时还进行了经济影响的预测。

https://img-blog.csdnimg.cn/img_convert/5bb145d142659cd925001c78dbc6517d.png

我们自己的研究人员也探索了用这种匿名数据来预测COVID-19的传播,用图神经网络代替传统的基于时间序列的模型。

冠状病毒疾病搜索趋势症状允许研究人员探索时间或症状之间的联系,比如嗅觉缺失----嗅觉缺失有时是病毒的症状之一。为了进一步支持更广泛的研究社区,我们推出了谷歌健康研究应用程序,以提供公众参与研究的方式。

https://img-blog.csdnimg.cn/img_convert/d3c782114115a2c1bc2ad94416e95f6f.png

图:COVID-19搜索趋势正在帮助研究人员研究疾病传播和症状相关搜索之间的联系

谷歌的团队正在为更广泛的科学界提供工具和资源,这些科学界正在努力解决病毒对健康和经济的影响。

https://img-blog.csdnimg.cn/img_convert/da3bb7ceedc6d27833914dcf74603566.png

图:一个模拟新冠病毒扩散的时空图

我们还致力于帮助识别皮肤疾病,帮助检测老年黄斑变性(在美国和英国是导致失明的主要原因,在全世界是第三大致盲原因),以及潜在的新型非侵入性诊断(例如,能够从视网膜图像中检测出贫血的迹象)。

https://img-blog.csdnimg.cn/img_convert/7af56edccb325e5e1e167f1baf8da000.png

图:深度学习模型从视网膜图像中量化血红蛋白水平。血红蛋白水平是检测贫血的一项指标

今年,同样的技术如何可以窥视人类基因组,也带来了令人兴奋的演示。谷歌的开源工具DeepVariant,使用卷积神经网络基因组测序数据识别基因组变异,并在今年赢得了FDA的4个类别中的3个类别的最佳准确性的挑战。丹纳-法伯癌症研究所领导的一项研究使用同样的工具,在2367名癌症患者中,将导致前列腺癌和黑色素瘤的遗传变异的诊断率提高了14%。

 

02

天气、环境和气候变化

 

机器学习能帮助我们更好地了解环境,并帮助人们在日常生活中以及在灾难情况下做出有用的预测。

对于天气和降水预报,像NOAA的HRRR这样基于计算物理的模型一直占据着主导地位。然而,我们已经能够证明,基于ML的预报系统能够以更好的空间分辨率预测当前的降水量(“西雅图的本地公园是不是在下雨?”而不仅仅是“西雅图在下雨吗?”)它能够产生长达8小时的短期预报,比HRRR准确得多,并且能够以更高的时间和空间分辨率更快地计算预报。

https://img-blog.csdnimg.cn/img_convert/80926165f42181a7296749698a7c2a6f.png

我们还开发了一种改进的技术,称为HydroNets,它使用一个神经网络来建模真实的河流系统,以更准确地了解上游水位对下游洪水的相互作用,做出更准确的水位预测和洪水预报。利用这些技术,我们已经将印度和孟加拉国的洪水警报覆盖范围扩大了20倍,帮助在25万平方公里内更好地保护了2亿多人。

https://img-blog.csdnimg.cn/img_convert/d27a2789a49086341bdaf683ab3c05c8.png

03

可访问性(Accessibility)

 

机器学习继续为提高可访问性提供了惊人的机会,因为它可以学会将一种感官输入转化为其他输入。举个例子,我们发布了Lookout,一个Android应用程序,可以帮助视力受损的用户识别包装食品,无论是在杂货店还是在他们家的厨房橱柜里。

Lookout背后的机器学习系统演示了一个功能强大但紧凑的机器学习模型,可以在有近200万个产品的手机上实时完成这一任务。

同样,使用手语交流的人很难使用视频会议系统,因为即使他们在手语,基于音频的扬声器检测系统也检测不到他们在主动说话。为视频会议开发实时自动手语检测,我们提出了一种实时手语检测模型,并演示了如何利用该模型为视频会议系统提供一种识别手语者为主动说话者的机制。

04

机器学习在其他领域的应用

 

2020年,我们与FlyEM团队合作,发布了果蝇半脑连接体,这是一种大型突触分辨率图谱的大脑连接,重建使用大规模机器学习模型应用于高分辨率电子显微镜成像的脑组织。这些连接体信息将帮助神经科学家进行各种各样的研究,帮助我们更好地理解大脑是如何运作的。

05

负责任的人工智能

 

为了更好地理解语言模型的行为,我们开发了语言可解释性工具(LIT),这是一个可以更好地解释语言模型的工具包,使得交互式探索和分析语言模型的决策成为可能。

我们开发了在预训练语言模型中测量性别相关性的技术,以及在谷歌翻译中减少性别偏见的可扩展技术。

为了帮助非专业人员解释机器学习结果,我们扩展了2019年引入的TCAV技术,现在提供了一套完整而充分的概念。我们可以说“毛”和“长耳朵”是“兔子”预测的重要概念。通过这项工作,我们还可以说,这两个概念足以充分解释预测;您不需要任何其他概念。

https://img-blog.csdnimg.cn/img_convert/4188827d90f8145d6c3dbb871bc7f596.png

概念瓶颈模型是一种技术,通过训练模型,使其中一层与预先定义的专家概念(例如,“骨刺呈现”,或“翅膀颜色”,如下所示)保持一致,然后再对任务做出最终预测,这样我们不仅可以解释这些概念,还可以动态地打开/关闭这些概念。

 

06

自然语言理解

 

更好地理解语言是我们今年看到相当大进展的一个领域。谷歌和其他公司在这个领域的大部分工作现在都依赖于transformer,这是一种特殊风格的神经网络模型,最初是为了解决语言问题而开发的(但是越来越多的证据表明,它们对图像、视频、语音、蛋白质折叠以及其他各种各样的领域也很有用)。

在2020年,我们描述了Meena,一个对话机器人,可以聊任何事情。

https://img-blog.csdnimg.cn/img_convert/acf39bd5b139ce255cae64c9de46987a.png

 

07

机器学习算法

 

谷歌仍向无监督学习方向大力发展,例如2020年开发的SimCLR,推进自监督和半监督学习技术。

http://p2.itc.cn/q_70/images03/20210116/b015c744f259476f8f3722f7724971ce.png

使用不同的自监督方法(在ImageNet上预训练)学习的表示形式,对ImageClass的分类器进行ImageNettop-1准确性训练。灰色十字表示受监管的ResNet-50。

 

08

强化学习

 

强化学习通过学习其他主体以及改进探索,谷歌已经提高了RL算法的效率。

他们今年的主要重点是离线RL,它仅依赖于固定的,先前收集的数据集(例如先前的实验或人类演示),从而将RL扩展到了无法即时收集训练数据的应用程序中。研究人员为RL引入了对偶方法,开发了改进的算法以用于非策略评估,此外,他们正在与更广泛的社区合作,通过发布开源基准测试数据集和Atari的DQN数据集来解决这些问题。

http://p4.itc.cn/q_70/images03/20210116/3c02237baef34b2c8356730bfea88514.png

使用DQN重播数据集的Atari游戏的离线RL

另一个研究方向是通过学徒制学习(apprenticeshiplearning),向其他代理学习,从而提高了样本效率。

需要注意的是,将RL扩展到复杂的实际问题来说是一个重要的挑战。

http://p1.itc.cn/q_70/images03/20210116/83f80b44f96a4c26980e1b0ded6b333b.png

概述我们的方法并说明AttentionAgent中的数据处理流程。顶部:输入转换-一个滑动窗口将输入图像分割成更小的补丁,然后将它们"扁平化",以便将来处理。中间。补丁选举-修改后的自我注意力模块在补丁之间进行投票,以生成补丁重要性向量。底部:动作生成--AttentionAgent在补丁之间进行投票,生成补丁的重要性向量。行动生成--AttentionAgent选择重要性最高的补丁,提取相应的特征,并基于这些特征做出决策。

 

09

AutoML

 

毫无疑问,这是一个非常活跃和令人兴奋的研究领域。

我在AutoML-Zero中:不断学习的代码,我们采用了另一种方法,即为演化算法提供一个由非常原始的运算(例如加法,减法,变量赋值和矩阵乘法)组成的搜索空间,以查看是否有可能从头开始发展现代ML算法。

但是,有用的算法实在太少了。如下图所示,该系统重塑了过去30年中许多最重要的ML发现,例如线性模型,梯度下降,校正线性单位,有效的学习率设置和权重初始化以及梯度归一化。

http://p7.itc.cn/q_70/images03/20210116/6b7b28eb8cd54404afa81b3354a7a9df.png

 

10

更好地理解ML算法和模型

 

随着神经网络被做得更宽更深,它们往往训练得更快,泛化得更好。这是深度学习中的一个核心奥秘,因为经典学习理论表明,大型网络应该超配更多。

在无限宽的限制下,神经网络呈现出惊人的简单形式,并由神经网络高斯过程(NNGP)或神经切线核(NTK)来描述。谷歌研究人员从理论和实验上研究了这一现象,并发布了NeuralTangents,这是一个用JAX编写的开源软件库,允许研究人员构建和训练无限宽度的神经网络。

http://p9.itc.cn/q_70/images03/20210116/0fb5196cecb34ab8bf67afc9de841056.png

左:该示意图显示了深层神经网络如何随着简单的输入/输出图变得无限宽而引发它们。右图:随着神经网络宽度的增加,我们看到在网络的不同随机实例上的输出分布变为高斯分布。

 

11

机器感知

 

对我们周围世界的感知--对视觉、听觉和多模态输入的理解、建模和行动--仍然是一个具有巨大潜力的研究领域,对我们的日常生活大有裨益。

2020年,深度学习使3D计算机视觉和计算机图形学更紧密地结合在一起。CvxNet、3D形状的深度隐含函数、神经体素渲染和CoReNet是这个方向的几个例子。此外,他们关于将场景表示为神经辐射场的研究(又名NeRF,也可参见本篇博文)是一个很好的例子,说明GoogleResearch的学术合作如何刺激神经体量渲染领域的快速进展。

http://p6.itc.cn/q_70/images03/20210116/8655de9147c8405bbb0ee0199cfcbc0c.png

在与加州大学伯克利分校合作的《学习因素化和重新点亮城市》中,谷歌提出了一个基于学习的框架,用于将户外场景分解为时空变化的照明和永久场景因素。这能为任何街景全景改变照明效果和场景几何,甚至将其变成全天的延时视频。

http://p0.itc.cn/q_70/images03/20210116/37e85f869ab2425d9737961cd394cef2.gif

2020年,他们还使用神经网络进行媒体压缩的领域不断扩大,不仅在学习的图像压缩方面,而且在视频压缩的深层方法,体压缩以及深不可知的图像水印方面都取得了不错的成绩。

http://p0.itc.cn/q_70/images03/20210116/8544f28e2c314fb9a468a5ae79fbc2af.png

第一行:没有嵌入消息的封面图像。第二行:来自HiDDeN组合失真模型的编码图像。第三行:来自我们模型的编码图像。第四行:HiDDeN组合模型的编码图像和封面图像的归一化差异。第五行:模型的归一化差异

通过开源解决方案和数据集与更广泛的研究社区进行互动是另一个重要方面。2020年,谷歌在MediaPipe中开源了多种新的感知推理功能和解决方案,例如设备上的面部,手和姿势预测,实时身体姿势跟踪,实时虹膜跟踪和深度估计以及实时3D对象检测。

http://p3.itc.cn/q_70/images03/20210116/d5b8bb13cb3a41f4bff319e68736304d.png

最后,展望这一年,我特别热衷于构建更多通用机器学习模型的可能性,这些模型可以处理各种模式,并且可以通过很少的培训示例来自动学习完成新任务。该领域的进步将为人们提供功能更强大的产品,为全世界数十亿人带来更好的翻译,语音识别,语言理解和创作工具。这种探索和影响使我们对工作感到兴奋!

参考链接:

https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html

2021-01-19
2020年,随着世界被冠状病毒重塑,我们看到了技术可以帮助数十亿人更好地交流,理解世界和完成任务。GoogleResearch的目标是解决一系列长期而又重大的问题,从预测冠状病毒疾病的传播,到设计算法、自动翻译越来越多的语言,再到减少机器学习模型中的偏见

2020谷歌技术发展

谷歌人工智能