04. 腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道

人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物，正在重塑我们对 AI 能力的认知，也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建，到训练过程中模型稳定性和鲁棒性的提升，再到探索更快更优的压缩与加速方法，每一步都是对创新者的考验。

面对快速演变的市场，企业如何在大模型投入与应用间寻求平衡？AI 从业者又该如何在这复杂的产业生态中找准定位，最大化自身价值？这些问题不仅关乎技术与商业，更直指 AI 产业的未来走向。

本期机器之心《智者访谈》邀请到腾讯机器学习平台部总经理／混元大模型负责人王迪先生，深入腾讯从 0 到 1 自研万亿级 MoE 大模型的历程。

王迪强调，大模型是一项跨领域的系统工程，需要在约束下高效整合工程、算法、数据和业务应用，对组织能力提出了前所未有的挑战。同时，业务团队需要明确模型的能力边界，辨识哪些问题适合用模型去解决，哪些则需要通过产品设计来应对，只有技术与业务紧密协作，才能快速推出满足应用需求的 AI 产品。

腾讯的这条实践之路，让我们得以窥见大模型研发和工程的整个链路：从基础设施的构建到训练推理框架的优化，再到业务场景的落地，为理解大模型提供一个独特的视角。

注：本期节目录制于2024年8月，如对话中提及年份相关时间点，默认「今年」为「2024年」。

【时间线】

01:07  小模型成趋势的深层逻辑

05:54  腾讯为何选择从零自研大模型

10:37  MoE Scaling Law：腾讯的着眼点

20:22  布局全模态：统一到 Transformer

23:06  平台层如何衔接上层应用与下层算力

35:39  技术路径选择：直觉从何而来？

39:55  万亿 MoE 实践：稳定性、鲁棒性

48:10  算力集群发展及 AI Infra 展望

【栏目简介】

这是国内人工智能垂直媒体机器之心旗下的「智者访谈」播客栏目。栏目聚焦于人工智能领域的顶尖专家和学者，旨在洞悉人工智能的核心技术与行业趋势，深化行业认知，激发创新思考。

【主播】

闻菲，机器之心合伙人总监

【嘉宾】

王迪（腾讯机器学习平台部总经理）

• 现任腾讯机器学习平台和混元大模型技术负责人

• 在超大规模生成式大模型、搜广推稀疏大模型、搜索平台、GPU 算力和任务调度等技术领域拥有丰富经验

• 2008 年加入腾讯，拥有十多年 AI 领域深厚技术研发经验。

【联系方式】

公众号：机器之心

收听渠道：Apple Podcast | 小宇宙 | 喜马拉雅

其他平台：bilibili（机器之心官方） | 视频号（机器之心）| 小红书（机器之心）

联系我们：zhaoyunfeng@jiqizhixin.com | xiewenfei@jiqizhixin.com

在小宇宙查看该单集文稿