李开复恢复肃清预考试:训一次大模子三四百万好意思元,头部公司齐付得起
开端:36氪
零一万物的最新模子,打榜赢了GPT-4o。
“零一万物毫不肃清预考试。”
2024年10月16日,AI独角兽零一万物创举东说念主兼CEO李开复,公开立了军令状。也在合并天,零一万物发布了最新的MoE(搀和民众)架构的旗舰大模子:Yi-Lightning。
这亦然时隔5个月后,零一万物再次更新模子的新动态。
李开复暗示,Yi-Lightning的考试只用了2000张GPU,考试周期仅一个半月,资本独一300多万好意思元,是埃隆·马斯克的xAI资本的1%、2%。
考试资本天然低,但Yi-Lightning的性能并莫得打扣头。在加州大学伯克利分校LMSYS团队的Chatbot Arena(聊天机器东说念主竞技场)总榜单上,Yi-Lightning的性能与xAI的Grok-2-08-13模子比肩第6,况兼超过了OpenAI的GPT-4o-2024-05-13。
LMSYS团队的Chatbot Arena(聊天机器东说念主竞技场)大言语模子概括能力总榜单。图源:零一万物
值得注主义是,在华文能力上,Yi-Lightning与OpenAI的最新模子o1-mini版块比肩赢得了第二;在数学能力上,Yi-Lightning和Gemini-1.5-Pro-002比肩第3,仅次于在数学、逻辑推理见长的o1。
在订价上,Yi-Lightning也创了零一万物模子的最低订价:0.99元/百万Token。
零一万物模子订价。图源:零一万物官网
天然,榜单排行并不料味着模子在职务场景下的能力。在发布会上,零一万物把稳在实用性上,让Yi-Lightining秀了一把肌肉。
比如,Yi-Lightining比较2024年5月发布的Yi-Large,首包时候(从经受到任务申请到系统运行输出反应效果之间的时候)裁汰了一半,最高生成速率擢升了近四倍。
具体到翻译场景,Yi-Lightining比豆包、DeepSeek、通义千问最新旗舰模子的翻译速率更快,且翻译效果愈加信达雅。
四个模子在交流翻译任务上的推崇。图源:零一万物
发布会上,李开复也揭秘了Yi-Lightning的考试战略:
独到的搀和注看法机制(Hybrid Attention):在解决长序列数据的经由中,好像提高性能的同期,还能诽谤推理资本;
动态Top-P路由机制:说明任务难度自动采用最合乎的民众网罗组合;
多阶段考试(Multi-stage Training):让模子在不同阶段接管不同的学问,便捷mixing团队进行数据配比的调试责任,并能保证不同阶段的考试速率和踏实性。
在2024年5月份的发布会上,零一万物在国内发布了C端的出产力家具“万知”。时隔五个月,零一万物的B端买卖化邦畿也有了新的进展——聚焦零卖和电商等场景的AI 2.0数字东说念主。
AI 2.0数字东说念主的背后,是电商话术大模子、变装大模子、直播声息大模子的多模态协同考试。现在,AI 2.0数字东说念主还接入了Yi-Lightning。用户只需要输入出售的商品、声息的性别和语调,就能生成相应的数字东说念主。
零一万物AI 2.0数字东说念主接入Yi-Lightning前后对比。图源:零一万物
如今,大模子发展也来到了技能探索的深水区。即便立下了“毫不肃清预考试”的军令状,李开复也承认:“但不是每家公司齐不错作念这件事情,作念这件事情的资本也比较高,以后有可能会越来越少的大模子公司考试作念预考试。”
不外,对如今六家大模子独角兽,李开复照旧抱有乐不雅的作风:
“据我所知,这六家公司融资额度齐是够的,咱们作念预考试的production run,考试一次三四百万好意思金,这个钱亦然头部公司齐付得起,我以为中国的六家大模子公司只须有够好的东说念主才,念念作念预考试的决心,融资额跟芯片齐不会是问题的。”