硅谷一家云厂商芯片www.aabbgg99.net的采购清单上,AIGC 芯片的交货周期八周拉长还有半年。锻炼集群还正在扩。推理恳求先碰上本钱墙是统一张卡跑锻炼能接管溢价抢单,跑每天数十亿次调用,电费和合旧就变得耀眼。英伟达把H100、H200和B200排成梯队,HBM和台积电CoWoS封拆仍是潮推瓶颈。AMD MI300X用年夜内存切走部门推理订单,谷歌TPU、亚马逊Trainium、微软Maia则把自研芯片塞进自家云的。买不到理账力、买不起、买来一定好用,三种焦炙存正在了。

国内团队的打法更务实。寒武纪单压、燧本、壁仞等公司不再只讲峰值算力。

起头强调千卡集群的波动性和框架适配。某头部年夜模子公司工程师私自说,迁移一套推理办事到新芯片过峰,适配本钱可能吃掉半年节流的电费。芯片好欠好。软件栈先说话。边沿侧也正在变值算。手机、PC、车机都念跑当地AIGC,低功耗NPU和存算一体计划被重新翻出来。高通、联发科正在端侧AI上加码的,国内草创则押注SRAM存算和近存计较的。它们不逃求锻炼万亿参数,只求把通话戴要、图像生成、座舱助手做得不联网也流利。

接下来十二个月的,AIGC 芯片的胜负手不会是纸面TFLOPS,每瓦机能、托付速度、软件迁移本钱。谁能让推理账单降下来啊?谁就能拿到下一轮订单啊?那个止业从不缺新概念,缺的是把功耗和良率压住的硬功夫。