文|常敏潇 袁滢靓
编辑|邓咏仪
若是说成为开源模型天花板,是Llama大模型的运,那“惨遭泄露”,就是Llama要渡的劫。
2023年3月,Llama 2就因提前泄露,Meta不得不以开源的方式发布模型。
如今,历史再次重演。
太平洋时间7月12日,一名Meta员工透露,Meta计划于当地时间2024年7月23日发布迄今为止Llama最大的参数规模版本:Llama 3.1 405B。他透露,405B将会是Llama系列中首个多模态模型。
然而,就在太平洋时间7月22日,预定发布时间的前一日,Llama3.1的模型和基准测试结果就在Reddit等技术社区上泄露,Llama 3.1的磁力链接(用于下载文档的程序)已经在HuggingFace等社区中流传。
从泄露的结果中看,Llama 3.1的性能,足以媲美OpenAI的GPT-4o!
有AI博主盛赞,Llama 3.1的发布,将又是扭转AI界命运的一天:
![](http://p0.img.360kuai.com/t110df81bbc645d163810480df5.jpg)
△来源:X
泄露的基准测试结果显示,Llama 3.1共有8B、70B、405B三种规模。参数量最小的70B模型 ,许多方面的性能也与GPT-4o不相上下。
![](http://p1.img.360kuai.com/t110df81bbcd8b0a2f18800abd6.jpg)
△上图为Llama 3.1 各版本与 OpenAI GPT-4o、Llama 3 8B/70B 的对比,其中,规模居中的70B版本,也在诸多方面超过了 GPT-4o。图源:X用户@mattshumer_
有网友指出,如果依据这个基准,Llama 3.1 405B ≈ GPT-4o,Llama 3.1 70B 则将成为能击败了OpenAI的首个轻量级模型、GPT-4o mini。
![](http://p2.img.360kuai.com/t110df81bbc8bd841a857d6c7f6.jpg)
△图源:X用户@corbtt
不过,不少已经下载模型“尝鲜”的网友发现,泄露版的Llama 3.1 405B,所有文件大小竟然约有820GB,所需内存是保留完整精度的Llama 2(约280GB)的近3倍。
这意味着,若非家里有矿,买得起足够多GPU,个人开发者很难用自己的电脑把Llama 3.1跑起来。部分网友猜测,Llama 3.1并非面向个人,而是面向机构和企业。
还未官宣的Llama 3.1也被泼了盆冷水。不少网友倒苦水:Llama 3.1对GPU的要求太高了,不如隔壁OpenAI家的GPT-4o mini物美价廉。
![](http://p0.img.360kuai.com/t110df81bbc21bbbb5ca4c7a399.jpg)
△X上的网友评论。图源:X用户@_Talesh
功能迭代,指标优化,计算资源减少
根据泄露的模型信息,Llama 3.1相较于2024年4月19日发布Llama 3,在功能上有了更多的迭代,包括更长的上下文窗口、多语言输入和输出以及开发人员与第三方工具的可能集成。
数据训练:Llama 3.1使用了公开来源的 15T+ tokens进行训练,微调数据包括公开可用的指令调优数据集(与 Llama-3 不同!)以及超过 2500 万个合成生成的示例。
多语言对话:Llama 3.1支持8种语言:英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。虽然很遗憾没有中文,但开发人员可以针对 8 种支持语言以外的语言对 Llama 3.1 模型进行微调。
上下文窗口:每个版本的上下文长度从8k扩展至128k,大致相当于模型一次能够记住、理解和处理9.6万字,几乎是一整本原版《哈利·波特》。
许多网友跃跃欲试,让Llama 3.1与模型“前辈们”一同竞技,发现不仅是指标有了显著提升,计算资源也节省不少。
基于网友的测试,与Llama 3相比,Llama 3.1的能力有显著提升。其中human_eval和truthfulqa_mc1两项能力进步明显,意味着生成编程代码的能力更强、生成问题答案时更具真实性。
同时,Llama 3的instruct(指令)模型相较于base(基座)模型,在提示学习、语境学习、高效参数微调等指标提升明显。
这是合理的,因为base模型通常未经特定任务微调,而instruct模型经过专门训练后,能遵循指令或完成特定任务。通常,instruct模型的指标表现更出色。
这让人更加期待Llama3.1的正式发布。目前泄露的Llama3.1模型测试,结果仅仅针对base模型,而instruct模型表现可能会更佳!
![](http://p2.img.360kuai.com/t110df81bbcb7f2f4d5778c42df.jpg)
△图源:X用户@thenameless7741
![](http://p2.img.360kuai.com/t110df81bbc99b6fb158e23ff81.jpg)
△图源:X用户@thenameless7741
令人惊讶的是,基准测试结果中,Llama 3.1 70B模型打平甚至击败 GPT-4o,Llama 3.1 8B模型则与Llama 3 70B模型性能接近。有网友猜测,这可能采用了模型蒸馏技术,即8B和70B的模型是由405B最大规模的模型简化得出,让大模型变“小”。
模型蒸馏技术可以看作学生向老师学习。大而强的模型(老师模型)是老师,较小且简单的模型(学生模型)是学生。学生模型通过“模仿”老师模型来学习,使输出尽可能接近老师模型的输出,从而学到相似的知识和能力。
经过蒸馏训练后的学生模型,可以减少模型大小和计算资源需求,同时又能保持较高的性能表现和相当的精度。
![](http://p0.img.360kuai.com/t110df81bbc6e712a334e951231.jpg)
△图源:Reddit
不是谁都跑得动,但推理价格很划算
Llama 3.1到底会不会如愿开源,还是个未知数。但即便开源,想要用得起Llama 3.1,家里仍然得有矿。
想要跑得动Llama 3.1,最基础的入门券,就是足够的GPU。
泄露文件显示,Llama 3.1 405B在H100-80GB类型硬件上的训练时间为30.84M GPU小时。这意味着,假设每小时只用一张H100-80GB,运行Llama 3.1 405B就要花30.84M小时——等模型跑起来,要过3500年!
![](http://p2.img.360kuai.com/t110df81bbc1f45b6533edf5de3.jpg)
△图源:Reddit
如果想要私有化部署,企业要想在一个月内顺利运行Llama 3.1 405B,就要储备起码43000块H100-80GB。按照4万美金的H100单价算,使用Llama 3.1 405B的算力入场券,就高达17亿美金,折合人民币125亿元。
不过好消息是,Llama 3.1的推理成本,可能会更便宜。
据Artificial Analysis预测,吞吐1百万Tokens所需的成本,Llama 3.1 405B将比质量相似的前沿模型(GPT-4o 和 Claude 3.5 Sonnet)便宜,更具性价比。
![](http://p1.img.360kuai.com/t110df81bbc8422f2881879f77a.jpg)
△图源:X用户@ArtificialAnlys
除此之外,有网友通过源文件代码猜测,Llama 3.1 405B可能会成为会员产品,用户使用时需要付费。不过,真实情况如何,还需等待官方发布。
![](http://p0.img.360kuai.com/t110df81bbccd14582e1c5ef46d.jpg)
△图源:X用户@testingcatalog
(36氪作者周鑫雨对本文亦有贡献)
欢迎交流c7娱乐
欢迎交流