裁剪：裁剪部 HYZ

【新智元导读】「算力」号称是AI期间最大的痛。在国际，OpenAI因为微软造GPU集群的速率太慢而算力告急。在国内，企业则靠近着「模子算力太多元、产业生态太分散」这一难题。不外，最近新降生的一款「AI神器」，令东说念主目下一亮。

如今，快速活泼地获取算力可谓是刚需，就连OpenAI也不例外。

最近，The Information爆料：也曾商定微软是独家云处事器供应商的OpenAI，也曾启动找其他家要买算力了。

原因就在于，微软提供算力的速率太慢了！

OpenAI既想要微软提供更先进、算力更强的GPU集群，又要他们加速竖立程度。

但微软的连络是，在来岁年底之前为OpenAI提供约30万块英伟达GB200。

于是，OpenAI找到了甲骨文，启动洽谈一个展望可在2026年中获取几十万块英伟达AI芯片的数据中心技俩。

无专有偶，在算力需求这一块，国内智能算力的年复合增长率展望也将达到33.9%。

但在更进一步的大模子落地上，比较起只缺算力的OpenAI，国内的企业则靠近着更多的挑战，比如算力资源管制艰辛、模子微调复杂等等。

模子算力太多元，产业生态太龙套

字据赛迪商议院的数据，2023年我国生成式东说念主工智能企业选拔率达15%，商场规模约14.4万亿元。

另一方面据公开数据显现，2023年全年，国内商场对大模子公开招投地点技俩惟有不到200家，金额5个多亿；而到了2024年，仅上半年的技俩就达到了486个，金额13个多亿。

其中，软件的占比在2023年为11%，而2024年上半年却惟有5%。比较之下，大模子干系处事则从昨年的17%暴涨到本年上半年的30%。也便是说，企业对大模子硬件和处事的需求，基本占了90%以上。

对比不错发现，模子应用和商场趋势之间，存在着巨大的鸿沟。

变成这一自高的原因，领先，便是大模子的幻觉问题。

大模子在预熟识阶段所用的学问是通用为主，但在企业的专科领域中，如若还所以算概率来驱动的风景生硬输出，就会问官答花。

第二，要齐备大模子与行业场景的深度齐集，应用开发历程复杂，应用门槛高。

微调、RAG都要分多个子门径，应用开发回需要不同专科团队遥远协调，研发难度大，耗时也很长。

第三，在不同场景下，不同行务对模子才气有万般需求，比如推理速率快、生成精度高、函数和代码才气强。

由于业务生成环境时时的多模并存，使用的算力资源亦然多元并用的。多模和多元的适配问题，常需要软件通盘这个词重构，难度大，本钱高。

此外，在产业生态上，从芯片到软件框架，再到模子自己，不同厂商的家具数据源不同、时刻法式不一，很难谐和适配。

在土产货化的大模子应用生成与落地中，这些挑战会愈加显赫。

怎样才能让企业（尤其是传统企业）的大模子应用赶紧落地？

这时，业内进犯地需要高效、易用、端到端的软硬一体化贬责决议，来撑握大模子行业落地。

如若有这么一种开箱即用的家具，不管是模子自己、应用开发，照旧算力问题，都能治丝益棼。

算力即得

针对这些痛点，波澜信息推出了号称AI应用开发「超等使命台」的元脑企智EPAI一体机。

从算力、平台，到处事，提供了一站式大模子开发平台。

面向的确场景，平台提供了数据处理器具、模子微调器具、增强学问检索器具、应用开发框架等。

而字据不同模子的才气特色，平台还支握调用多模态算法和多元算力。

最强AI算力平台

为了掩盖不同的需求，一体机共有5种规格——基础版、法式版、改进版、高档版、集群版。

总的来说，元脑企智EPAI一体机具备了特别的算力性能和极致的弹性架构，可支握延时RDMA网络和高性能并行存储。

它们通过分散式并行加速、夹杂精度策划、高性能算子时刻，普及了模子的熟识和推理速率，齐备应用高并发高能效处理、业务快速上线的需求。

在熟识踏实性方面，元脑企智EPAI一体机专为LLM熟识微调优化提供了断点续训才气，为大模子熟识添砖加瓦，优化升级算力池化与分派战术，支握按需弹性扩缩容。

接下来，分裂看下五个一体机不同的特色。其中，改进版、高档版和集群版均能同期支握熟识和推理。

面向模子推理的基础版配备了8块4090D GPU，性价比最高法式版则搭载了基于Hopper架构的HGX模块化AI超算平台，8颗GPU通过NVlink高效互联改进版不错为多元算力提供深度适配高档版专为那些对算力有极高需求的客户而定制，而且提供了训推全历程自动化开发测试器具链集群版，顾名念念义便是机柜级的训推一体机——为那些业务规模较大，有分期竖立、按需延迟需求的企业所定制的最高配

值得一提的是，在网络单位上，集群版配备了波澜信息自研的「大模子专用交换机」——超等AI以太网交换机X400。

它最高概况延迟到524,288张GPU的超大规模AI算力系统，而且凭借AR自合乎路由、端到端拥塞抑制、亚毫秒级故障自愈等时刻，性能普及至传统RoCE网络的1.6倍。

由此，大型集群齐备了超高隐隐量、高可延迟性和超高可靠性。在LLM熟识性能普及同期，也大幅镌汰熟识时长、训斥熟识本钱。

除了硬件上的改进除外，通盘的一体机也一起预置了元脑企智（EPAI）大模子开发平台。

这种软硬一体化委用，恰是波澜信息一体机最大上风所在。

开箱即用

有了元脑企智EPAI，波澜信息的一体机才能为企业客户们，提供开箱即用的才气。

更具体地讲，元脑企智EPAI是专为企业AI大模子应用，高效、易用、安全落地而打造的端到端开发平台。

从数据准备、模子熟识、学问检索、应用框架等器具全面波及，而且还支握调整多元算力和多元模子。

元脑企智EPAI的圆善架构

多元多模

领先，元脑企智EPAI平台最中枢的一部分是，平台底座概况适配多元多模的基础门径。

多元多模策划框架TensorGlue

多模是指，支握多种模子和多种策划框架。

其中，预置了Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7个基础大模子，以及应用DEMO样例。

还有10+策划框架（MegtronLM、DeepSpeed、Pytorch、Transformer、Llamafactory、Fastchat等），以及多种微调才气，如监督微调、凯旋偏好优化、东说念主类反应强化学习等。

同期，它还能肤浅支握主流基础大模子结构，支握与用户自研模子的活泼适配和对接。

多元算力管制调整AIStation

而AIStation的作用在于，概况对支握超数千节点的AI处事器。

它不错进行异构算力集群的谐和池化管制，通过自合乎系统将熟识底层的策划、存储、网络环境齐备自动化配置。

从开发、熟识、微调，再到应用部署，EPAI概况齐备全生命周期监管和特别全自动化处理。

而且针对不同行务场景，开荒故障自动容错，保证业务时长高效、踏实运行。

绵薄易用

一体机的绵薄易用，便体目前了数据准备/生成、微调熟识、推理部署中，一起齐备自动化。

从企业大模子开发部署业务历程来看，具备通用学问的LLM，就像刚毕业的大学生雷同，需要学习企业学问。

因此，第一步数据最关节。

高质地数据自动生成

刻下互联网熟识数据远远不及，尤其是专科化的数据，而AI数据生成恰好能弥补这一缺陷。

高质地数据，才是保险AI模子应用恶果的第孤单分。

那么企业如安在种类万般、规模雄壮数据库中，生成微调数据，并减少处理本钱？又该怎样将专科化数据为模子所用？

元脑企智EPAI平台通过高质地数据生成，攻破了难题。

企业仅需将原始数据上传，元脑企智EPAI将其索求为文本txt，各式结构化/非结构化文档均可支握。

然后控制大模子生成问题谜底对，也便是不错凯旋微调使用的数据。

临了一步通过「微调数据增强」让AI再自动生成同类型、同主题高质地微调数据。

这一过程，还会对数据抽取后，进行向量编码。

举个栗子，「Apple」会被编码成很长一个向量，其中含了好多丰富的语义信息。它可能代表生果一类，也可能代表苹果公司等等。

全链路微调熟识器具

有了数据，接下来就要微调模子了。

好在元脑企智EPAI平台对LLM微调时所需的环境、框架、配置代码等一系列历程，完成了封装。

开发者无需动手写代码，就能微调出领域大模子。

从数据导入、熟识参数配置、资源类型配置等均由平台自动管制，大幅普及微调任务的效能。

熟识微调完成后，模子部署和上线亦然由元脑企智EPAI接办，还提供了多种评估的风景。

总之，高效的数据处理器具，支握微调数据自动生成和延迟，为模子微调熟识提供丰富数据源；丰富、圆善的模子熟识器具，支握SFT优化风景，熟识之后支握一键部署。

此外，元脑企智EPAI还支握API、对话式UI、智能体三类使用风景。

如下是对话式UI界面的形貌。

支握RAG，弥补LLM学问无法实时更新难题

另外，还需琢磨的一个问题是，LLM幻觉之所产生，是因为无法实时获取到新学问。

而元脑企智EPAI集成了波澜信息自研的RAG系统，匡助大模子普及了应用恶果。

仅需上传一个原始文档，就不错让LLM基于文档现实，进行精确问答和信息检索，快速构建出领域问答才气。

同期，它还预置了一亿条的基础学问库，概况齐备端到端30%调回率。

在话式UI界面中，学问库管制中不错上传企业、行业、基础三大类学问。

它还支握检索溯源、夹杂检索、扫尾重排，由此不错普及端到端检索精度。

数据安全，诡秘保护

一体机另一个上风在于， 概况保护企业的私稀有据不出域，阻绝数据风险。

内置的元脑企智EPAI平台，不错提供全链路的驻扎，从文献级数据加密、造访抑制，到数据存储、备份复原。

它不错精确抑制每个用户数据、模子、学问库、处事的权限，保险多场景使用安全。

还有现实多级过滤和审核体系，对用户输入、模子输出进行快速、准确审核，保险生成现实的安全性与诡秘性。

AI应用，每个企业王人可开发

恰是因为有以上各样上风，元脑企智EPAI能肤浅地赋能企业里面的万般应用场景。

比如研发的代码生成、部门助理，出产的故障识别、维修决议生成，销售的智能客服、案牍协调，行政的招聘助手，公文写稿等。

开发速率快到低至1周，培训周期短到最快3天。

在波澜信息里面，元脑企智EPAI就也曾大大加速了全球的使命流。

昔日如若稀有百万行私有代码，安靖少，可读性差，需要参考几十页高下文的PDF，专科工程师单个函数开发就需要3周。

但目前波澜信息控制智能编程助手，不错凯旋把开发周期镌汰至2天。

它能对数十万行代码自动证据，由AI自动生成跳动65%的策划框架代码，为研发工程师每天省俭了近3个小时的代码。

而基于元脑企智EPAI打造的智能客服大脑「源小服」，涵盖了10+年的家具贵府和5000+复杂场景，凯旋学习了2万余份家具文档、用户手册，百万余条对话等材料。

关于常见时刻问题的贬责率达到了80%，举座处事效能普及了160%，斩获了《哈佛贸易驳倒》「鼎革奖」的年度新时刻粉碎奖。

百模争霸，不再卡在落地

因为具有以上上风，元脑企智EPAI一体机就为用户贬责了燃眉之急。

其中一类紧要客户，便是传统制造业客户。

尤其是大型制造业客户，不管是CIO、团队，照旧三产公司，在数据、东说念主员、时刻方面都有好多蕴蓄，而应用自己也有应用牵引的趋势。

而另一类，便是传统的ISV（寥寂软件开发商）客户。

关于他们，波澜信息有上百号博士团队在作念算力、算法、框架的应用开发使命，在算力上也很强，上风彰着。

还有一些用户，需要有对大模子特意的调优才气。

目前的情况是，关于特别专科的应用领域，国内能卖干系处事未几，花很高的代价，也偶而找得到。

底本波澜信息有这个才气，但莫得绽开。如今，波澜信息把告诫、处事都集成到了一体机的家具中，碰巧满足了他们的需求。

在波澜信息看来，如今大模子落地的最大痛点，不是算法，也不是家具，而是行业的know-how。

如若数据不ready，也很难通过一个器具、一个软件或一台开荒去贬责。

但这时如若有一个一体机的家具，还能跟懂行业、懂数据但不懂AI的ISV彼此赋能，大模子的落地就会变得很容易。

从2021年启动到目前，波澜信息已成行业里的骨灰级玩家。比如2021年作念完源1.0后，22年波澜信息就也曾在用RAG作念里面智能客服系统。

如今，凭着对模子自己的know-how，以及模子使用上的know-how，波澜信息再次赋能我方的合作伙伴，加速企业大模子应用开发，买通了大模子落地临了一公里的难题。

参考贵府：

https://mp.weixin.qq.com/s/dy_ca32xbWZslLveal2Nuw