英伟达新“王炸” 未发先难产
继B200/GB200芯片交付推迟后,王炸英伟达或又面临新品难产的英伟问题。
12月24日,达新据Wccftech报道,先难英伟达最新旗舰芯片B300/GB300的王炸参数已经确认。其中B300的英伟显存规格从上代产品的192Gb提升至288Gb;GB300平台将首次使用LPCAMM内存模块设计,并配备带宽提升至1.6Tbps的达新光模块,以确保数据高速传输。先难
在性能大幅提升的王炸同时,B300/GB300的英伟功耗也被拉到史无前例的高度,TDP(热设计功耗)达到1400W。达新作为对比,先难Hopper架构的王炸拳头产品H100芯片,其TDP为350W。英伟
这对于服务器的达新散热设计来说,无疑是个巨大的挑战。
而就在上周,天风国际分析师郭明錤在研报中表示,英伟达在为B300/GB300开发测试DrMos技术时,发现芯片存在严重的过热问题,这可能会影响B300/GB300的量产进度。
尽管黄仁勋此前曾多次表示,英伟达未来将严格遵循“一年一换代”的原则,但旗下GPU在改用Blackwell架构后,不止一次出现“跳票”的情况。
Blackwell架构,真有问题?
在郭明錤发布的研报中,指出了B300/GB300目前面临的问题:由AOS(Alpha & Omega Semiconductor)公司提供的5*5 DrMos方案在测试中过热。
先来说说DrMos是什么。
这是英特尔在2004年推出的技术,主要原理是将驱动器和MOS集成在一起,以减小多个元件的空间占用以及降低寄生参数带来的负面影响,从而提升转换效率和功率密度。
简单地来说,它就是一个高度集成的电源解决方案。
消费级显卡RTX3060上的DrMos,由AOS供应
在英伟达Hooper架构芯片上,包括H100/A100/H800/A800在内,其DrMos方案全部由MPS(Monolithic Power Systems)供应,可能是基于“不把鸡蛋放在同一个篮子”的原则,在Blackwell架构芯片上,英伟达开始测试AOS的方案。
那是否能说明,AOS应该为B300芯片的过热问题“背锅”呢?
恐怕并不能。
首先,AOS的5*5 DrMos芯片是一款散热能效高,且十分成熟的方案设计,这在行业内已经得到广泛验证。
其次,郭明錤的财报中也提到了,有产业链人士指出,B300的发热问题除了DrMos芯片本身之外,还源于系统芯片管理的设计不足。
这已经不是Blackwell第一次被曝出存在设计问题。
今年8月,据《The Information》报道,B200在台积电流片过程中,发现设计存在缺陷。
起初业内认为可能是台积电的N4P制程工艺存在问题,但在与高盛的投资人沟通会中,黄仁勋说出了问题所在:由于GPU芯片、LSI桥、RDL中介层和主板基板之间的热膨胀特性不匹配,导致封装结构出现弯曲。
“100%是英伟达的责任。”
在芯片设计被曝出缺陷后,B200/GB200芯片的交付时间从今年3季度被推迟至4季度。而且从实际情况来看,现阶段仍没有公司拿到B200芯片,从公开资料中得知,马斯克凭借10.8亿美元的订单,获得了B200芯片的优先交付权,这些芯片将被用于增强xAI的超级计算集群Colossus。
而即便是获得优先交付权xAI,也得等到明年1月份才能收到B200芯片。
回到B300芯片上,这是一枚原定在明年3月GTC大会上发布的旗舰产品,现在却面临“未发布先难产”的问题。
完全垄断AI服务器芯片的英伟达,为什么会在Blackwell上一再翻车。
一个很重要的原因是,英伟达过于追求芯片性能上断代领先,从而导致Blackwell系列芯片作为量产型产品,几乎变成一个实验性平台。
比如CoWoS-L封装技术的应用。
这里需要说一个背景是,Blackwell是一枚基于MCM(多芯片封装)设计的GPU,即在同一个芯片上集成两颗GPU die。
为了配合英伟达的需求,台积电方面首次将CoWoS-L技术应用在这枚芯片的封装上。而在此之前,CoWoS-L封装也没有经过大规模验证。
有业内人士指出,CoWoS-L封装现阶段的良率可能在90%左右,作为一项后段工艺,这个数字很不理想。
需求是否过于乐观?
在Blackwell架构芯片推出后,知名华尔街投行Keybanc Capital Markets曾发出了一份预测:
“Blackwell芯片将推动英伟达数据中心业务的收入,从2024财年(截至2024年1月)的475亿美元增长到2025年的2000多亿美元。”
众所周知,在大模型的训练与部署中,英伟达的GPU居功至伟,但BlackWell架构芯片真的能凭一己之力带动业绩翻倍上涨吗?
即便忽略掉B200/B300的延期交付问题,仅从市场需求来看,可能并不是特别的乐观。
对于各大互联网公司来说,一个首当其冲的问题是,如果大规模引入基于Blackwell芯片的服务器,那么算力中心的建设成本将会被大大提高。
因为B200芯片高达1000W的TDP实际上已超过了传统风冷散热的极限,许多服务器厂商为了解决散热问题,不得以堆砌3D VC(真空腔均热板)的数量和面积,由此导致在42U的标准服务器机柜中,可容纳的芯片越来越少。
而到了B300芯片上,风冷散热方案无论如何修修补补都无法压住1400W的功耗,必须全面改用液冷。
但对于已经搭建好计算中心的厂商而言,改用液冷会导致其成本骤增。比如在传统服务器机房中在搭建时都会对空调系统进行重点设计,一些大型计算中心的空调系统可以支持0°以下的送风。
如果改用液冷,则意味着在加入配套基础设施的同时,过去花大价钱打造的空调系统沦为闲置。
另外就是服务器本身的价格问题。现阶段,一组基于GB200的AI服务器根据带宽配置的差异,定价约在200-300万美元之间,而如果这些服务器全部基于GB300改用液冷方案,价格甚至可能会翻倍。
还有一个很重要的问题是,市场对于最先进GPU的需求是否强烈?
就在12月14日的NeurIPS大会上,OpenAI联合创始人Ilya Sutskever)表示,大模型预训练即将结束,因为AI的化石燃料“数据”已经用尽了。
如果Ilya的判断没有问题,一个显而易见的转变将是大模型的研究重心将从训练转向推理,在这样的背景下,虽然英伟达Blackwell系列芯片具备强大的“训推一体”能力,但有多少厂商未来愿意持续性地高成本投入,还有待观察。
-
已输掉8场英超比赛,热刺球迷:澳波是史上最差主教练穆西亚拉在安联球场看NFL比赛,与纽约巨人队球星热情交流[流言板]明日对骑士,绿军霍勒迪&霍福德&铂金&怀特都出战成疑若日尼奥:哈兰德又进球了我们只是一笑了之踢曼城我们要赢佩德里社媒:我们必须把愤怒转化为动力,再次展现最高水平莱万破门被吹越位!世体:裁判技术委员会确认VAR判罚准确无误莱万破门被吹越位!世体:裁判技术委员会确认VAR判罚准确无误[流言板]船记转发:为何哈登不像勒布朗、KD和库里那样受到赞誉?[流言板]有点可惜!詹姆斯全场16投10中,得到28分11篮板11助攻威少不是防守万人捅吗?为什么马龙教练会夸奖威少防守?马龙教练不如我们球迷懂球?
- ·中国手游格局生变:米哈游收入跌出三甲、氪金套路失效了吗
- ·阿利森:有时没人问球员对增加比赛的看法,也许我们意见不重要
- ·北青:武磊大概率无缘战巴林,他的伤情最严重&仍无法参加合练
- ·中国海警位中国黄岩岛领海及周边区域执法巡查
- ·[流言板]76人圣诞大战伤病报告:恩比德可以出战,德拉蒙德出战成疑
- ·切尔西球迷热议门将桑切斯:队史最差没跑了吧?凯帕不比他强?
- ·北青:武磊大概率无缘战巴林,他的伤情最严重&仍无法参加合练
- ·[流言板]手感冰凉!库明加突破强起上篮涮筐而出,目前7中0得4分
- ·天玑 8400 8个A725全大核CPU性能与能效太惊喜 领先同级一大步
- ·[赛后采访]热血小队全员:请叫我米将军!最后一把赢了一人一万!
- ·利物浦祝主帅斯洛特46岁生日快乐,本赛季至今带队战绩3胜1负
- ·12月幻想真境剧诗注意事项省流版
- ·[流言板]冲击MVP!SGA本赛季场均得到31分,已连续3赛季场均得分30+
- ·年底陈列室:我有一种极其强烈的预感要出 斯蒂芬 库里
- ·[流言板]毫不留情!杜兰特突破过掉李凯尔,强起遭追梦正面大帽摁下
- ·安东尼社媒晒联赛杯个人宣传视频,预热曼联vs巴恩斯利
- ·真是可笑。一个好好的游戏非要弄成这样
- ·首发助西汉姆女足收获联赛首胜,李梦雯:让胜利推动继续前进
- ·[JR热议]瓜主曝Gemini刚才向拖米转了2万!如何评价他的这波操作?
- ·尹鸿博告别梅州客家:沉寂了很久,好像也到了不得不说再见的时候
- ·[流言板]自信!坎宁安干拔三分命中,首节三分2中2已经得到12分3助攻
- ·新版“意甲七姐妹”形成!老姐妹帕尔马第13,桑普沉沦意乙第13
- ·阿莫林谈让2追4:受尽苦难但战斗到底,就像每个人经历过的故事
- ·法老与太子👑萨拉赫和马尔穆什进球助攻上双,目前五大联赛唯二
- ·津媒:青岛红狮中卫黄旭恒跟随津门虎训练 孙铭谦元旦后会合
- ·史上最强Mate来袭!华为Mate 70/Pro/Pro+正式发布:5499元起
- ·青训负责人谈“12岁退役”:是最大难题 尽全力帮助留在球场孩子
- ·莱万破门被吹越位!世体:裁判技术委员会确认VAR判罚准确无误
- ·5年前的今天哈兰德欧冠首秀戴帽,至今39场41球5助+随曼城夺冠
- ·新版“意甲七姐妹”形成!老姐妹帕尔马第13,桑普沉沦意乙第13
- ·[流言板]B费上抢踩倒塞梅多吃到第二张黄牌被罚下,曼联十人应战
- ·[流言板]纽约邮报:篮网与波格丹诺维奇还没进行过有关买断的对话
- ·[赛后采访]热血小队全员:请叫我米将军!最后一把赢了一人一万!
- ·在不知名角落,tx占股库洛51了
- ·《VR女友》新作将以成人版本发布 锁国区
- ·[流言板]科尔谈杜兰特:我们本希望永远留住他,但这注定无法实现