世间万物，不过是4.398万亿个参数？今晚，我们谈谈大模型与小模型

来源：机器之心

「世间万物，最终不过是 4.398 万亿个参数。」——Geoffrey Hinton

GPT-3 的横空出世，成为 2020 年人工智能领域最震撼人心的新闻之一。这个 1750 亿参数的自回归语言模型掀起了一阵巨浪，答题、翻译、写文章、数学计算无一不能，简直是「为所欲为」。近日，Google Brain 的研究者又提出了参数量高达 1.6 万亿的 Switch Transformer，在计算资源相同的情况下，其训练速度可以达到 T5 模型的 4-7 倍。

各种百亿、千亿级的模型层出不穷，暴力美学的路线仍然有效，且充满奇迹。在 2021，模型参数量的世界纪录还会被刷新吗？

同时，也有研究者更加坚信「小而准」模型的应用价值。「大模型」还是「小模型」？它们各自代表了哪些技术趋势？这些问题都需要好的答案。

自 2015 年公司成立起，五年来，机器之心与全球近 200 万 AI 从业者共同见证产业发展，见证人工智能与我们发生的每一次互动和进步。传播知识，促进产业智能升级，是机器之心的不变初衷。

2021 年 1 月，机器之心重磅发布「AI 中国」机器之心年度榜单及《2020-2021 全球人工智能技术趋势发展报告》，并同期启动机器之心 PRO· 人工智能「2020 年度回顾与 2021 趋势前瞻」行动。2 月 1 日 - 2 月 7日，我们将举办四场技术趋势研讨圆桌，邀请致力于技术突破的一线学者专家与技术领袖，共同探讨人工智能技术发展趋势。

今晚，机器之心携手一流科技创始人袁进辉和复旦大学计算机科学技术学院教授、博士生导师邱锡鹏，进行一场线上直播，从「大模型与小模型」的话题切入，共同解析未来十大 AI 技术趋势。

基于顶会、论文及专利等公共数据、机器之心专业领域数据仓库，我们通过数据挖掘定位七大趋势性 AI 技术领域，并邀请了近 100 位专家学者通过问卷形成对这七大技术领域近年发展情况、成熟度与未来趋势的综合总结，并基于 2015-2020 年间的开源论文与专利语料，结合机器之心自有的新闻舆论以及模型最佳表现（SOTA）等相关数据库进行了探索性数据分析，并形成了用以帮助技术趋势判定的量化指标 Synced Indicator (SI)。

随着机器学习和人工智能领域的发展，大模型在哪些细分领域会成为必然趋势？哪些领域使用小模型更有探索价值？如何选择

在第二场圆桌论坛中，机器之心将和两位重量级圆桌嘉宾一起围绕「大模型与小模型的底层逻辑」、「大规模预训练模型」、「自动化机器学习」及「模型压缩」等话题进行探讨。

嘉宾介绍

邱锡鹏教授

邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表 CCF A/B 类论文 70 余篇，获得 ACL 2017 杰出论文奖（CCF A 类）、CCL 2019 最佳论文奖。出版开源专著《神经网络与深度学习》，Github 关注人数 1.3 万，豆瓣评分 9.5 分。获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer「2020 年度 AI 2000 人工智能全球最具影响力提名学者」 等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、微软学者、微软学者提名、百度奖学金、上海市优博提名等。

袁进辉博士

一流科技 OneFlow 创始人，清华大学计算机系博士、博士后，中关村数智人工智能产业联盟副理事长，之江实验室天枢开源 AI 平台架构师。2013 年加入微软亚洲研究院从事大规模机器学习平台研发，2014 年发明了当时世界上最快的主题模型训练算法系统 LightLDA，被微软研究院全球副总裁周以真称为「年度最好成果」。2015 年专注搭建基于异构集群的深度学习平台，获微软亚洲研究院院长特别奖。袁博士曾在计算机视觉及多媒体领域顶级会议发表多篇论文，连续多年获得美国国家技术标准局的视频检索评测比赛第一名。

参与方式