扎克伯(bo)格最新2万(wan)字访谈：价值百亿美金的“最强开源(yuan)大(da)模型”Llama3及背后(hou)的一切,Meta,锻炼(lian),成绩

• 最小参数的Llama3 80亿和最大(da)参数的上一代Llama2 700亿模型性能是同一量级，而(er)最强大(da)的4050亿参数版本(ben)还在路上。

• Llama 3的涌现证明了大(da)规模数据和计算资本(ben)对(dui)于AI模型的紧张性，AI正在从(cong)一个"问答"工具，转变成一个更狭义的"推理"系统，它需要(yao)明白成绩的上下文，融会多方面学问并应(ying)用逻辑推理得出结论。

• 多模态是Meta重(zhong)点关注的范畴，迥(jiong)殊关注的一个模态是情绪明白，如果能够在这方面取得突破，使人工智能能够真(zhen)正明白并表达情绪，那(na)么人与机器之间的互动将会变得亘古未有的自然和深入。

• AI确切会转变人类的工作体(ti)式款式，有望(wang)显著提高步伐员的工作效率(lu)，但AI的涌现没(mei)有是试图庖代人类，而(er)是希望(wang)经过这些工具，赋予人们更强大(da)的能力，让(rang)他们能够完成更多以前不(bu)可思议的工作。

• AI将像电脑的涌现一样，从(cong)基础(chu)上转变人类的生活，带来很多以前弗成能的新应(ying)用，推理将深刻转变险些所有的产物形状(zhuang)。

• 在AI进展遇到GPU瓶颈时，或资金没(mei)有足成绩前，会首先遇到能源(yuan)成绩，如果人类能够解决能源(yuan)的成绩，完全(quan)有可能建造出比现在规模更大(da)的算力集群。

• 我认为将来会涌现META AI通用助理产物，每一个企业(ye)都(dou)希望(wang)有一个代表他们利益的AI，AI将推进科学、医疗保健和种种范畴的进步，最终会影响产物和经济(ji)的方方面面。

• 我认为将来如果人工智能过度(du)集中化，其(qi)潜在风险可能没(mei)有亚于它的广泛流(liu)传，如果一个机构具有比其(qi)他所有人更强大(da)的人工智能，这是否也是一件坏事？

• 我认为锻炼(lian)的进展有多种可能性，个中商品化确切是个中之一。商品化意味着随着市(shi)场上选择的增加，锻炼(lian)的本(ben)钱将大(da)大(da)低落，变得越发亲民。

• 关于存在性风险的成绩确切值得我们深入关注，现在我们更关注的是内容风险，即模型可能被用于制(zhi)造暴力、欺诈(zha)或其(qi)他伤害别人的举动。

• 开源(yuan)正成为一种全(quan)新的、强大(da)的构筑大(da)模型的体(ti)式款式。虽然详细的产物会随着时间的推移没(mei)有断进展、涌现和消逝，但它们对(dui)人类社会的贡(gong)献却(que)是长期的。

• Meta可能很快就会在自研芯片(pian)上锻炼(lian)大(da)模型，但Llama-4可能还无法做到。

最小参数的Llama3 80亿和最大(da)参数的上一代Llama2 700亿模型性能是同一量级，而(er)最强大(da)的4050亿参数版本(ben)还在路上。

Llama 3的涌现证明了大(da)规模数据和计算资本(ben)对(dui)于AI模型的紧张性，AI正在从(cong)一个"问答"工具，转变成一个更狭义的"推理"系统，它需要(yao)明白成绩的上下文，融会多方面学问并应(ying)用逻辑推理得出结论。

多模态是Meta重(zhong)点关注的范畴，迥(jiong)殊关注的一个模态是情绪明白，如果能够在这方面取得突破，使人工智能能够真(zhen)正明白并表达情绪，那(na)么人与机器之间的互动将会变得亘古未有的自然和深入。

AI确切会转变人类的工作体(ti)式款式，有望(wang)显著提高步伐员的工作效率(lu)，但AI的涌现没(mei)有是试图庖代人类，而(er)是希望(wang)经过这些工具，赋予人们更强大(da)的能力，让(rang)他们能够完成更多以前不(bu)可思议的工作。

AI将像电脑的涌现一样，从(cong)基础(chu)上转变人类的生活，带来很多以前弗成能的新应(ying)用，推理将深刻转变险些所有的产物形状(zhuang)。

在AI进展遇到GPU瓶颈时，或资金没(mei)有足成绩前，会首先遇到能源(yuan)成绩，如果人类能够解决能源(yuan)的成绩，完全(quan)有可能建造出比现在规模更大(da)的算力集群。

我认为将来会涌现META AI通用助理产物，每一个企业(ye)都(dou)希望(wang)有一个代表他们利益的AI，AI将推进科学、医疗保健和种种范畴的进步，最终会影响产物和经济(ji)的方方面面。

我认为将来如果人工智能过度(du)集中化，其(qi)潜在风险可能没(mei)有亚于它的广泛流(liu)传，如果一个机构具有比其(qi)他所有人更强大(da)的人工智能，这是否也是一件坏事？

我认为锻炼(lian)的进展有多种可能性，个中商品化确切是个中之一。商品化意味着随着市(shi)场上选择的增加，锻炼(lian)的本(ben)钱将大(da)大(da)低落，变得越发亲民。

关于存在性风险的成绩确切值得我们深入关注，现在我们更关注的是内容风险，即模型可能被用于制(zhi)造暴力、欺诈(zha)或其(qi)他伤害别人的举动。

开源(yuan)正成为一种全(quan)新的、强大(da)的构筑大(da)模型的体(ti)式款式。虽然详细的产物会随着时间的推移没(mei)有断进展、涌现和消逝，但它们对(dui)人类社会的贡(gong)献却(que)是长期的。

Meta可能很快就会在自研芯片(pian)上锻炼(lian)大(da)模型，但Llama-4可能还无法做到。

以下是访谈全(quan)文：

Llama 3顶配版仍在锻炼(lian)

Dwarkesh Patel：Mark，欢迎离开这个播客。

Mark Zuckerberg：谢谢你邀请我。我是您播客的忠实粉丝。

Dwarkesh Patel：非(fei)常感谢你的赞美。让(rang)我们先聊(liao)聊(liao)这次采访发布时也会同步发布的产物。能跟我讲讲关于Meta AI和相关模型的最新进展吗?有哪些令人兴奋(fen)的地方?

Mark Zuckerberg：我想大(da)多数人会关注到的是Meta AI的新版本(ben)。我们正在做的最紧张的事变是进级模型。我们发布了Llama-3。我们以开源(yuan)的体(ti)式款式提供应(ying)开辟者社区，同时它也将为Meta AI提供支持。关于Llama-3有很多值得讨论的地方，但我认为最紧张的一点是，我们现在认为Meta AI是人们可收费获得的最智能的AI助手，我们还整合了Google和Bing以获取及时学问。

我们将让(rang)它在我们的应(ying)用中越发凸(tu)起，在Facebook和Messenger的顶部(bu)，你可以间接使用搜索框来提出成绩。我们还增加了一些我认为非(fei)常酷、人们会喜(xi)欢的创作功效。我觉得动画是个很好的例(li)子，你基本(ben)上可以拿任何图像，让(rang)它动起来。

人们会觉得非(fei)常惊艳的一点是，它现在可以如此快速地天生高质量的图像，实际上是在你输入的同时及时天生和更新的。你输入你的查询，它就会去适配，比如"给我看一张牛站在有山脉背景的野外里(li)，吃着夏威夷果，喝着啤酒的图片(pian)"，它会及时更新图像，这非(fei)常酷，我想人们会很喜(xi)欢的。我觉得这将是大(da)多数人在实际天下中能感受(shou)到的。我们正在推出它，虽然没(mei)有是所有地方，但我们从(cong)多数几(ji)个国(guo)度(du)开始，将来几(ji)周和几(ji)个月会扩大(da)范围。我认为这将是一件很了没(mei)有起的事变，我真(zhen)的很兴奋(fen)能把它交到人们手中。这是Meta AI的一猛进步。

但如果你想深入了解一下，Llama-3显然是技术上最有趣的。我们正在锻炼(lian)三(san)个版本(ben)：我们实际上锻炼(lian)了三(san)个版本(ben)，离别是80亿、700亿和4050亿的麋集模型，个中4050亿的模型仍在锻炼(lian)中，以是我们今(jin)天并未发布。但我对(dui)80亿和700亿的显示非(fei)常兴奋(fen)，按照它们的规模来看是领先的。我们会发布一篇博客文章，附上所有的基准测(ce)试结果，人们可以本(ben)身去看看，它显然是开源(yuan)的，以是大(da)家(jia)无机遇去试用它。

我们有一个新版本(ben)的门路图，将带来多模态性、更多的多语言性和更大(da)的上下文窗口。希望(wang)在今(jin)年晚(wan)些时间，我们能推出4050亿参数的版本(ben)。就现在的锻炼(lian)环境来看，它在MMLU上已经到达了85分摆布，我们预计它在很多基准测(ce)试中都(dou)市(shi)有领先的成绩。我对(dui)这一切都(dou)非(fei)常兴奋(fen)。700亿的版本(ben)也非(fei)常棒。我们今(jin)天发布它。在MMLU上大(da)约是82分，在数学和推理方面有领先的成绩。我觉得把它交到人们手里(li)会非(fei)常酷。

Dwarkesh Patel：有意思，这是我第一次听说MMLU作为一个基准。这太(tai)令人印象(xiang)深刻了。

Mark Zuckerberg：80亿参数的版本(ben)险些与我们发布的最大(da)版本(ben)的Llama-2一样强大(da)。以是最小的Llama-3基本(ben)上与最大(da)的Llama-2一样强大(da)。

Dwarkesh Patel：在我们深入讨论这些模型之前，我想回到过去。我猜想你们是在2022年开始推销这些H100的，或者你可以告诉我详细是什么时间。其(qi)时股价受(shou)到重(zhong)创。人们问这些资本(ben)支出是怎么回事。人们没(mei)有买账元宇宙。我想你花费资本(ben)支出来采办这些H100。你其(qi)时是怎样知道要(yao)买H100的?你怎么知道你需要(yao)GPU?

Mark Zuckerberg：我想是因为我们其(qi)时在开辟Reels。我们总(zong)是希望(wang)有足够的算力来构建一些我们还看没(mei)有到的将来的器械(xie)。我们在开辟Reels时遇到了这样的环境，我们需要(yao)更多的GPU来锻炼(lian)模型。这是我们办事的一个重(zhong)猛退(tui)化。我们没(mei)有但仅是对(dui)你关注的人或主页的内容举行排序，我们开始大(da)力推荐我们所谓的非(fei)联(lian)系关系内容，也就是来自你没(mei)有关注的人或主页的内容。

我们可能向(xiang)你展现的内容候选库从(cong)数千个量级扩大(da)到数百万(wan)个量级。它需要(yao)一个完全(quan)没(mei)有同的基础(chu)设施。我们开始着手举行这项(xiang)工作，但在基础(chu)设施方面受(shou)到限定，无法以我们想要(yao)的速率(lu)赶(gan)上TikTok的进度(du)。我基本(ben)上是这样看的，我想："嘿，我们必需确保没(mei)有再(zai)陷入这种田地。以是让(rang)我们订购足够的GPU来完成Reels、内容排名和信息流(liu)方面需要(yao)做的事变。但让(rang)我们再(zai)加倍。"再(zai)次夸大(da)，我们的普遍(bian)原则是，总(zong)会有一些我们还看没(mei)有到的将来的事物。

通往AGI之路

Dwarkesh Patel：你知道那(na)会是AI吗?

Mark Zuckerberg：我们认为那(na)将是与锻炼(lian)大(da)型模型有关的事变。其(qi)时我认为可能与内容有关。这只是谋(mou)划公(gong)司的一种模式婚配，总(zong)会有另一个需要(yao)应(ying)对(dui)的方向(xiang)，其(qi)时我深陷于试图让(rang)Reels和其(qi)他内容的推荐系统运作良好。这对(dui)Instagram和Facebook来讲是一个巨(ju)大(da)的突破，能够向(xiang)人们展现来自他们甚至没(mei)有关注的人的有趣内容。

但过后(hou)看来，这个决定非(fei)常正确，这决定源(yuan)于我们的落后(hou)。这并没(mei)有是因为"哦，我想得太(tai)多了"。事实上，大(da)多数时间，我们之以是做出一些后(hou)来看起来没(mei)有错(cuo)的决定，是因为我们之前搞(gao)砸了一些事变，只是没(mei)有想重(zhong)复犯错(cuo)而(er)已。

Dwarkesh Patel：这完满(man)是题外话，但我想趁现在问一下。我们一会儿再(zai)回到AI的话题。2006年你没(mei)有以10亿美元的代价出售，但我想你内心肯定有一个你乐意出售的代价，对(dui)吧?你有没(mei)故意里(li)算计过，"我认为Facebook其(qi)时的实际估值是若干，而(er)他们给的代价并没(mei)有公(gong)道"?如果他们出价5万(wan)亿美元，你当然会卖(mai)。那(na)么你其(qi)时是怎样权衡(heng)这个选择的?

Mark Zuckerberg：我觉得有些事变只是个人层面的。我没(mei)有知道其(qi)时我是否有足够的精明去做那(na)样的分析。我周围的人都(dou)在为10亿美元找(zhao)种种论据，比如"我们需要(yao)创造这么多收入，我们需要(yao)做到这么大(da)。这显然是很多年以后(hou)的事了。"这远(yuan)远(yuan)超越了我们其(qi)时的规模。我其(qi)时并没(mei)有真(zhen)正具备参与那(na)种辩论所需的金融专业(ye)学问。

内心深处，我置信我们正在做的事变。我做了一些分析，"如果我没(mei)有做这个，我会做什么?嗯，我真(zhen)的喜(xi)欢创造器械(xie)，我喜(xi)欢帮助人们相同。我喜(xi)欢了解人与人之间正在发生的事变和互动。以是我想，如果我卖(mai)掉这家(jia)公(gong)司，我可能会再(zai)建一家(jia)类似的公(gong)司，而(er)我还挺(ting)喜(xi)欢现在这家(jia)的。那(na)又何必呢?"我认为人们做出的很多最大(da)的赌注往往只是基于信心和价值观。其(qi)实要(yao)做前瞻性的分析往往是非(fei)常难题的。

Mark Zuckerberg:我没(mei)有知道时间表详细怎样。我觉得这些事变都(dou)市(shi)随着时间逐步推进。