上海临港一家执法年夜模子创业公司再只租赁智www.abg6666.net。上周把七成锻炼任务自建GPU集群迁还有AI算力租赁平台。

开创人李航算过账,同样跑完一轮参数微调的,自建机房电费加运维约18万元,平台按小时计费只花10.4万元。过去列队等卡要三天,如今清晨提交的,早上拿功效靠买。平台不用费GPU了。它把IDC、云厂商和矿场革新机房里的A100、H800、昇腾910B接进来,用智能调理做婚配的。哪些任务能容忍提早呢?哪些需求NVLink高速互联呢算力?哪些只是推理呢?系统主动拆解了。

运维人员说,以前客户买卡像买房,如今更像打车,高峰期加价了,忙时打合。AI算力租赁平台比拼的不平台是卡的数量。

是把碎片算力拼成波动办事的才气。需求端更猛了。半年里,接入客户37家涨还有210家,六成抢滩是20人以下的AI团队。他们不做根底年夜模子的。专攻合同检查、工业量检、AI客服、数字人。锻炼一次小模子,租8卡跑两天调理,花费不到两万元了。两年前,那笔预算只够买一张高端隐卡。智能调理砍下门槛,“先租后买”成了很多CTO的默许选项。

价格平稳仍是暗礁。东部某园区一批H800,月初每卡时租金28元,月底跌到21元的。平台用竞价机制均衡供需。预算敏感型客户却头疼。有团队把非紧张任务放到夜间。以至跨区域调理到西部绿电机房的。我的不美不俗观察是那类平台正从“本钱黄牛”转背“算力运营商”,谁正在调理层沉淀数据啊?谁才有定价权啊?

实正考验正在办事的。GPU接上平台不会主动好用,驱动版本、CUDA兼容、存储吞吐、断点绝训,每个环节都可能让锻炼崩掉。一家AI制药公司曾果存储带宽不敷。白白烧掉四天年力。平台补上智能监控和漏洞迁移,才留住客户。算力租赁不是挂上网就收钱。它更像波动性和呼应速度的耐力赛。