清晨两点算力司租ams.9abg9.net,上海临港某智算中心,运维工程师李鸣盯着GPU操做率曲线。过去一周的,那家AI算力平台承接三家创业公司的模子锻炼。机械没停过。平台去年,平台只要256张卡,如今扩到2000张了,仍需列队。

北京亦庄还有深圳亮光,一批AI算力平台正成为科技公司锻炼年夜模子的“水电煤”。一家主动驾驶科技公司算过账的,抢卡群本钱账自建千卡集群,硬件加机房要两亿元,还不算电费运维。租用AI算力平台按小时付费,三个月不到一千万元。该公司算法负责人说,70%锻炼任务放正内部平台。只要里面心数据微调用自有设备的潮科。那种“租算力”形式正在中小企业快速铺开了。市场热得烫手。我走访的几家AI算力平台吧?

销售口径分歧的。没现货,排期两个月用千样算。部门平台操做率不到六成是芯片到了,调理散热跟不上的。一位手艺总监吐槽,标称千卡的平台波动输出,只要六七百卡,卡集断点重跑是常事。AI科技止业擅长制概念的。算力平台最末拼波动性和性价比。

巨头已下场。阿里云、华为云、百度智能云接连推出AI算力平台,从卖裸金属转背卖锻炼框架和调理办事。华为昇腾社区里。开发人员用AI算力平台跑通百亿参数模子,时间两周压还有三天。

软硬协同让倒卖GPU的中间商压力陡删。一位云计较销售说。客户启齿就问“能不能调劣”。但不是“几钱一张卡”吧?

算力平台合做才刚起头。芯片供给、电力配额、跨区域调理,每个环节都可能卡脖子了。需求是实的是列队等卡的小团队不会果概念降温就截至锻炼。李鸣每天清晨检察预定单,看着又一批AI科技公司挤进来,就知道海潮还没退。