金评天下 烧钱烧芯片烧数据……“百模大战”面临激烈角逐
正文内容
金评天下 烧钱烧芯片烧数据……“百模大战”面临激烈角逐
12月22日，全国首个官方“大模型标准符合性测试”结果公布，首批腾讯、阿里、百度、三六零等四家企业的自研大模型通过国家大模型标准测试。周一，受该利好消息刺激，三六零一度涨停。
虽然这个测试结果也许没有覆盖目前国内所有宣布要做大模型的企业，比如耳熟能详的华为、讯飞、中移动等都没有在名单内，但这也从一个侧面反映出很多问题，那就是在AIGC风靡全球的当下，国内各家IT企业推出的大模型风起云涌，命名一个个要“上捅破天，下捅破地”，但最终距离商业化落地都将面临激烈的角逐。
“大模型标准符合性评测”权威性如何该评测是由中国电子技术标准化研究院发起，吸收多个单位的意见，并通过32个细分维度进行的测评。按官方说法，这个评测是围绕多领域多维度模型评测框架与指标体系，涵盖语言、语音、视觉等多模态领域，建立大模型标准符合性名录。
对于国内的“百模大战”，一开始就有很多质疑，因为运行和训练大模型就是三“烧”烧钱、烧芯片、烧数据。
首先是烧钱。2022年OpenAI的总支出是5.44亿美元，简单算每天接近150万美元，据称光是训练成本每天就要花费70万美元左右。国盛证券曾经估算，GPT3的单次训练成本高达140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间，在10天内训练一个千亿规模的大型模型，大约需要花费1.43亿美元。
国内各个大模型都没有公开过训练的成本情况，包括上述几个通过测试的企业，但如果按GPT的训练强度，成本肯定不会低，即便是缩水打折扣，买数据要钱，用电要钱，这些成本是绕不开的。因此，有几家企业烧得起这些钱，这是一个大大的问号。
其次是烧芯片。这是个硬指标，即便你有钱也未必有GPU芯片。GPT3使用的超级计算机，包含了一万个GPU、285000个处理器内核，而这还仅仅是GPT3的训练硬件。
英伟达日前公布了H100 GPU全球前12大客户名单，其中有4家中国公司，分别是第6名腾讯5万张，第8名百度3万张，第9名阿里2.5万张，第11名字节跳动2万张。
这4家企业有3家是通过官方“大模型标准符合性测试”的企业，似乎比较靠谱，至于三六零拿的什么芯片训练还不得而知，也可能是更多缩略版的芯片，也可能是租来的算力，总之没有芯片就不可能搞大模型训练。
第三是烧数据。GPT3的参数量为1750亿，而GTP4的参数量是GTP3的20倍，计算量是GTP3的10倍，未来GTP5的参数量将达到GTP3的100倍，计算量将飙升至200到400倍。
国内企业有没有那么多的开源数据拿来训练这是一个难以回答的问题，因为GPT的使用协议就是一旦使用，就必须上交数据，在GPT几乎垄断AIGC的情况下，国内大模型到哪里去寻找有价值的开源数据如果没有海量数据，所谓的大模型就只能是人工吹泡沫，而并非人工智能计算。 （文章来源金融投资报）
金评天下 烧钱烧芯片烧数据……“百模大战”面临激烈角逐
金评天下 烧钱烧芯片烧数据……“百模大战”面临激烈角逐