AI状态报告跟踪关键基础设施中的变压器

人工智能和机器学习的先驱们正在迅速扩展最初设计用于自然语言处理和翻译到其他领域的技术，包括关键基础设施和生命的遗传语言。Air Street Capital 的投资者 Nathan Benaich 和天使投资人 Ian Hogarth在 2021 年版的《人工智能状况报告》中对此进行了报道。

他们的报告始于 2018 年，旨在对研究、人才、行业和政治的趋势进行全面调查，其中包含各种预测。作者正在追踪“182 家活跃的 AI 独角兽，总企业价值达 1.3 万亿美元”，并估计退出自 2010 年以来，人工智能公司创造了 2.3 万亿美元的企业价值。

他们 2020 年的预测之一是，我们将看到用于机器学习模型的基于注意力的Transformer 架构从自然语言处理扩展到计算机视觉应用。谷歌通过其视觉转换器 ViT 实现了这一目标。该方法还在音频和 3D 点云模型方面取得了成功，并显示出作为通用建模工具发展的潜力。例如，变压器在预测化学反应方面也表现出卓越的性能——英国国家电网公司使用一种变压器将其电力需求预测的误差显着减少了一半。

在 2017 年的一篇论文“Attention Is All You Need”中介绍，Transformers 采用“基于注意力”的方法来限制分析所需的计算能力，例如将注意力一次集中在句子中的一个词上，而不是让每增加一个词，模型的复杂度就会呈指数增长。报告称，来自谷歌母公司 Alphabet 的深度学习业务部门 DeepMind 的感知器架构是注意力概念的另一种变体，它在各种规模的输入和输出上都显示出强大的结果。

加强语言分析

理解人类语言是 AI 中最棘手的问题之一，但从语言分析中吸取的经验教训在计算生物学和药物发现等其他领域得到了回报。

例如，研究人员正在“学习 COVID-19 的语言”以对其遗传学进行语法理解，这显示了识别未来可能的突变的潜力，这些突变可能会产生类似于 Delta 变体的下一个威胁。作者建议，这增加了未来疫苗和治疗方法可以准备在这些变异出现之前解决这些变异的可能性。

投资者的资金正在追随人工智能优先的生物技术和药物发现公司，最引人注目的是 10 月份英国 Exscientia 的首次公开募股，估值超过 30 亿美元。犹他州的递归制药公司在 4 月份的 IPO 中筹集了 4.36 亿美元。

然而，尽管人工智能在医学领域的前景充满希望，但该报告的作者还指出，“尽管有人大声呼吁并有许多愿意的参与者，但 ML 社区对 COVID-19 的积极影响却出奇地少。最流行的问题之一——使用计算机视觉从胸部 X 射线或胸部计算机断层扫描图像诊断冠状病毒病理——一直是普遍的临床失败。”他们还警告不要夸大人工智能在放射学等领域的应用，并指出一项研究发现，94% 旨在改善乳腺癌筛查的人工智能系统不如最初的放射科医生准确。

大型语言模型和关键基础设施的全球热潮

报告称，事实证明，大型语言模型 (LMM) 非常重要，以至于它们“已经‘国有化’，每个国家都希望拥有自己的 LMM”。这些模型试图理解给定语言中的所有单词，迄今为止最大的是中文模型五道，有 1.75 万亿个参数。报告称，总体而言，中国已成为人工智能学术研究的世界领导者——与此同时，美国大学正遭受严重的“人才流失”。

除了是人工智能研究中最重要的前沿之一，语言理解也是最令人担忧的前沿之一。出现的机器理解通常会揭示种族主义和性别歧视偏见，这些偏见可能反映了对人性的准确理解——但不是我们想要促进的。该领域最近的丑闻之一是谷歌解雇了人工智能研究人员Timnit Gebru，她说在对谷歌使用 LMM 的方式提出道德反对意见后，她被解雇了。该报告称，Alphabet/谷歌还取消了 DeepMind 将其剥离为非营利研究组织的努力。

该报告在对人工智能安全的更广泛讨论的背景下强调了这些事件——确保人工智能进步与人类福祉保持一致的挑战——包括对自主作战机器等军事应用的担忧。

这些只是报告中包含的众多亮点中的一部分，该报告以168 屏 Google 幻灯片版面形式发布。他们对来年的预测包括，该行业可能会出现人工智能半导体公司之间的整合浪潮，以及出现一家专注于人工智能(人工智能最雄心勃勃的分支)的新研究公司，专注于垂直领域，例如生命科学、关键基础设施或开发人员工具。