英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

10月17日,美国更新出口管制标准,要求先进芯片性能超过特定阈值,即需要申请出口许可。在严苛的限制条件下,英伟达针对中国市场的特供版H800、A800两款芯片也面临禁售,以下为美国商务部对先进芯片性能的划定标准:

●总算力之和≥4800TOPS,

●总算力≥1600,且性能密度≥5.92;

●2400≤总算力<4800,且1.6<性能密度<5.92;

●总算力≥1600,且3.2≤性能密度<5.92。

面对新的管制条例,英伟达给了两个解法:其一,沟通美国商务部申请许可,给特定的中国客户“开白”;其二,针对新的管制条例,再次定制全新的特供版本。

刚刚举办的第三财季电话会议上,英伟达首席财务官科莱特·克雷斯确认了这一消息。克雷斯表示,英伟达正在与中东和中国的一些客户合作,以获得美国政府销售高性能产品的许可。此外,英伟达正试图开发符合政府政策且不需要许可证的新数据中心产品。

01 H800是如何“阉割”成为H20?

英伟达试图开发的新的特供版,即业内盛传的H20、L20等产品,最新消息显示,相关产品的上市计划已经延后至2024年第一季度。

问题在于,H20等全新特供芯片的研发、设计、生产,完全跳出了常规芯片的节奏,英伟达是如何在短时间内拿出这套特供解决方案?

它的答案就是我们这篇文章要讨论的关键问题之一:后道点断生产工艺,用大家更为常用的词汇总结即——阉割。

HGXH20-L20PCIe-L2PCIe-产品规格

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

按正常的设计、生产周期和产品发布节奏来推断,特供中国市场的H20/ L20等型号的芯片在这个时间节点发布,不太可能是重做光罩、重新投片的产物,一个相对合理的推论——即它们是通过半导体后道的物理点断工艺的改造+再封装,进而推出的新SKUs。

点断工艺是半导体制造的后道工序(BEOL)中的改造方法,可以在无需重做光罩的前提下使用一些管/线修补工艺,包括表面激光点断、CoWoS层面点断,甚至通过隧道镜手工雕线

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

可以假定一下这样的场景,代工英伟达H800的台积电南科Fab18A、台中Fab15B和台中先进封装5厂的洁净室里,此前降规生产的几批次裸片,还没来得及切割、镀上金属线和电极,还未封装成H800和L40S,转而通过后道点断生产工艺再封装成H20、L20。

02 表面激光点断是半导体制造传统艺能

行业惯例来说,一颗数字逻辑芯片的缓存大小(CacheSize)、底层物理互连(PHYchannels)都可以通过在后道封测环节重修/点断做失效屏蔽处理的,尤其是针对低分数裸片的改造方法算是几十年的传统艺能,例如早期的奔腾、赛扬处理器的重要区别之一就是点断缓存

倘若是局部微小部分,曾经可以手工完成(相当于微雕);面积稍大的部分,可以重新设计Layout预留点断位置,再由机器完成点断失效。

一种内置数字显示的温度传感器设计版图

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

实操上,通常的晶圆厂都会配置专业设备,由激光直接在裸片上切割线路/沟槽,而在亚利桑那钱德勒市的Intel Fab42工厂里,还有直接在专用隧道镜下面手工雕刻晶体管的设备,宣称是原子尺度的,不同于寻常的扫描隧道显微镜,几年前Intel有个宣传视频,提到这台设备,据传全球持证的操作手不超过14人。

其实在平面晶体管以前,显微镜手雕不算是高难度动作,但进入FinFET以后,由于垂直方向的3D栅极结构,手雕设备的代价和操作员就变得遥不可及了。

具体到H20/L20,这两款特供产品,是如何通过H800、L40S降规而来?可以先看看相关参数:

H20:对应H100/800系列,Hopper架构(HBM3、2.5D CoWoS封装、NVLink)

L20:对应L40S系列,Ada Lovelace架构(GDDR6,2D InFO封装,PCIe Gen4)

*注:固件相应修改;

回顾H100/H800相同架构之间比较关键的底层物理互连(SerDes PHY)的差异,H100降规阉割成H800,可以通过局部物理点断失效处理来实现;但相比之下,H20虽然与前面两款产品同构,但推测割掉的Dark Si面积可能较大,不确定常规点断操作是否不值得,也许需要重新做Layout

但是除了底层物理层互连(SerDes PHY)的区别,还有双精度浮点计算(FP64)单元面积、张量核(用于矩阵、卷积类计算任务)单元面积的区别,这部分不好定论,但可以推测是类似利用物理冗余设计并加以屏蔽的操作,毕竟如今的设计方法学都是推动模块化的,流片后的测试原本就会有70分 die与90分 die的区别,以及GPU芯片上也不止一个FP64,局部操作物理点断失效也是合理的。

03 设计冗余为点断创造条件,也是大厂基操

举个例子:A、如今市面仍可见的Intel F系列CPU,就是点断显核的70分die;B、Apple Si的前两代,官宣8核NPU,实际有9个,就是设计冗余

以上这些,在晶圆制造工序中也算是基本操作,特别是中试厂/线,Alpha – Beta流片的过渡期间,有小错就会直接手改,不会返回修改掩膜重新流片的。

从芯片设计者的角度来看,设计冗余度是在芯片开发流程中原本存在的,因为前道光刻过程是强调高良率的,具体到失效晶体管数,测试环节判断模块级别的良率,坏点可以直接电路割断,后续引线、封盖工艺流程都不变

例如3年前,Intel曾向市场推出过不带显核的F系列CPU,就是物理降规/阉割的产物,点断显核,重新封装销售。但是该款芯片偶尔耗电巨大,经用户投诉,建环境验证后发现就是原本通过物理点断失效的显核在接电之后不受控制而导致的莫名电源故障。

这个案例反映的情况就是我们上文所讲的,同一条流水线,经过点断失效的芯片,后续的导线/引脚和封装过程不变,可以继续销售。尤其早期Intel 10nm的良率很低,积压很多这样的低分片,才会把显核失效的芯片加印F标继续销售。

如今这个“冗余度”可能有很大空间,毕竟H100已然是814平方毫米的大芯片,几乎接近光罩尺寸边缘(26mm*33mm=858mm2)。而如今发布的H20降规型号,大概是H100 15%的性能,但是其物料成本几近相同。

04 封装层面点断可操作性、经济性更好

除了在逻辑芯片表面的激光点断工艺之外,还有针对某些特殊位置的点断要求,比如CoWoS中介层的点断

CoWoS作为台积电的2.5D封装方案,可以使得多颗芯片封装到一起,互连和内存等器件均通过硅中介层互联,达到了封装体积小,功耗低,引脚少的效果。

相比表面激光点断,在CoWoS的前道部分——即CoW部分是硅通孔和中介层——在该层面操作点断,做差异化,反而更经济,也更容易保证良率。因为算力逻辑芯片和I/O芯片是分列的,可以屏蔽底层物理互连的通道,也可以缩减HBM3内存性能,而且在硅中介层修改差异化更容易,相比全部在逻辑芯片上修改的代价更低,因为中介层上操作的线宽精度可以较低,甚至点断最上面那层金属的线宽即可。

但是,CoWoS中介层上面是只能够屏蔽物理互连和HBM内存,但是无法屏蔽FP64单元、Tensor core单元这样的计算逻辑芯片面积,这就需要补充用到前文所说的在逻辑die表面点断失效的方法。

另外,正常情况下,物理点断失效的电路是不能从外部第三方察觉的,且工艺不可逆;尤其如今芯片都是十几层金属,裸片的表面修改了,上面金属层是看不穿的,除非是用到反工程的透视扫描。

综上,我们看到进一步特供/降规生产的H20/L20等型号,可以判断是H800和L40S的裸片的后道物理点断工序的改造产物,同时重新封装、重新修改固件,成为新的SKUs。

回想Nvidia之前积压的、原本销往中国的50亿美元的GPU产品尚未交付,如今返厂做了后道改造才得以如此快速的发布新的SKU,那么猜测国内厂商的50亿美元订单也许会转换为这三个型号。

05 “阉割”后的H20的能与不能

核心AI芯片相关参数及出口管制情况,APPLIES对应受管制,DOESN’TAPPLY对应不受管制

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

如下是针对H20与H100/H800/A100的产品横向比较,比较维度包括“产品规格、单卡和集群算力效能、物料成本、定价体系”等四个方面:

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

集群综合算力方面,H100/H800目前是AIDC算力集群的顶流部署;其中H100理论扩容极限是5万张卡集群,最多可达10万P算力;H800最大集群是2-3万张卡,合计4万P算力;A100最大集群是1.6万张卡,合计9600P算力。

然而对于H20,其集群的理论扩容极限是5万张卡,以单卡算力0.148P(FP16/BF16)计算,集群合计提供7400P算力,远低于H100/H800/A100。

基于NVIDIAH800的8卡服务器模组

英伟达为中国“降规”:H800变身为H20,技术如何实现、性能够用吗?

同时,基于算力与通信均衡度预估,5万张H20合理的整体算力中位数约为3000P左右,倘若H20面对千亿级参数模型训练,恐怕捉襟见肘,需要集群网络拓扑有更大的外延扩展

但从HGX H20的硬件参数综合来看,几乎把美国商务部性能密度禁令中严格限制的算力门槛以外的指标全部拉满,显然是定位为一颗训推通用的处理器。

只是针对LLM大模型业态而言,实际使用H20做千卡分布式训练,虽然大部分有效利用时间都是GPU上的矩阵乘加计算的时间,通信和访存的时间占比缩小,但毕竟单卡算力规格较低,超限度的千卡集群扩展反而会使其费效比降低,H20更适用于垂直类模型的训练/推理,不容易满足千亿参数级LLM的训练需求

需要注意的是,选用更多低规格、更廉价的GPU并联集群,试图追平或是超过一台超高算力的GH200效能,这是一种悖论。

因为这种方案的掣肘很多,环境搭建和运行的ROI并不高。因为在算力利用率、并行策略的执行、集群综合能耗、硬件成本和组网成本等等方面都不可能获得理想方案;H20集群与A800集群效能可以同比,对比H100/GH200集群效能则是不实际的。

H20的基本规格方面,算力水平约等于50%A100和15%H100,单卡算力是0.148P(FP16)/0.296P(Int8),900GB/S NVLink,6颗HBM3e(显存的物料与H100 SXM版本配置相同,即6*16GB=96GB容量),die size同样都是814mm2 。

考虑到H100GPU单卡物料成本中的HBM颗粒成本独占55%-60%,整卡的物料成本约3320美元(H20成本相近,甚至由于增配的L2Cache以及追加了点断工序而成本更高,且相比H800更加增配了HBM3容量和NVLinklanes带宽),那么对应最终的渠道定价规则,H20的渠道单价可能与H100/H800处于相近水平

同比参考几个市面流通价格(来自某一线互联网公司和某一线服务器厂的渠道货价):

-DGXA800PCIe8卡服务器约145万元/台,NVLink版本200万元/台

-DGXH800NVLink版本服务器,国内渠道报价约310万元/台(不含IB)

-DGXH100NVLink版本服务器,香港渠道报价约45万美元/台(不含IB)

-H100PCIe单卡报价约2.5-3万美元,H800PCIe单卡尚不确定,且单卡流通渠道不正规

内容链接:https://www.hpaper.cn/13970.html

(0)
证实了:三星Galaxy S24系列将会作为AI手机推出
上一篇 2023-11-28 上午9:55
三菱将于 12 月在日本推出新型 Minicab EV 商用车
下一篇 2023-11-28 上午9:57

相关推荐

  • 阿里京东物流“拆墙”进行时:有商家火速换快递,末端快递员担心收入下降

    本文来源:时代财经 作者:林心林 今年“双十一”,两大电商平台和物流商各自为阵的局面将正式终结。 图片来源:图虫创意 10月16日,京东物流与淘天集团正式达成合作,京东物流将全面接入淘宝天猫平台,平台商家将能够选择京东物流作为服务商,目前双方对接系统已基本完成,消费者也可以在淘宝和天猫APP内查询京东物流轨迹。 这意味着,淘宝与京东这一对电商竞对,将各自过去…

    2024-10-17
    3.2K
  • AI圈顶流捧场!黄仁勋苏姿丰都来了,联想亮AI Now智能体大招,连甩10多个重磅AI产品

    刚刚,联想一场大会,把全球AI圈顶流聚齐了! 黄仁勋苏姿丰接连登场、英特尔AMD史无前例首次合作、英特尔CEO现场掏出下一代CPU、扎克伯格剧透XR新品,还有联想智能体大招AI Now正式登场。 昨晚,AI量大管饱,精彩镜头应接不暇。 智东西西雅图10月15日现场报道,刚刚联想创新科技大会2024正式开幕,联想一口气发布了PC个人AI智能体、搭载英伟达新核弹…

    2024-10-16
    3.3K
  • AI攻占诺奖背后:新的技术革命成为社会进步发展的重要引擎

    “超越人类智慧的AI可以用语言操纵我们,或许会试图说服我们不要关掉开关。” 今年3月,由ChatGPT掀起的AI(人工智能)技术革命背后的奠基性科学家、被誉为“AI教父”的杰弗里·辛顿(Geoffrey E. Hinton),曾对媒体提及他对AI“反噬人类”的担忧。如今,在他心中“危险和机遇并存”的AI,为他带来了诺贝尔物理学奖的荣誉。 当地时间10月8日,…

    2024-10-15
    5.0K
  • 苹果自动驾驶汽车项目画上句号:加州测试许可被取消

    IT之家 10 月 12 日消息,就在彭博社的马克・古尔曼报道苹果放弃了发布电动汽车的计划六个月后,据 macReports 报道,加州机动车辆管理局(DMV)取消了苹果的自动驾驶车辆测试许可证。 据悉,DMV 于 9 月 25 日收到苹果的确认,同意取消该许可证,该许可证于 9 月 27 日被取消。这意味着苹果公司持续了十年之久的电动汽车项目被彻底终结,没…

    2024-10-12
    4.4K
  • 大UP质问平台为什么视频越来越糊,答案比问题要复杂得多

    文|王毓婵 编辑|乔芊 10月8日,在全网拥有超千万粉丝的视频创作者@影视飓风发布了一条视频,标题为《清晰度不如4年前!视频变糊是你的错觉吗?》。这条视频揭示了视频平台为降低流量费用支出,通过降低码率和调整编码格式压缩视频画质的现象。 “2024年,4K视频你应该已经司空见惯。各家平台争先恐后在画质上做文章,我们也在不断更新设备,提升节目的质量。但我们在平台…

    2024-10-11
    4.8K
  • 特斯拉“命运日”即将到来:Robotaxi能否帮马斯克“翻身”?

    财联社10月10日讯(编辑 刘蕊)不到24小时之后,特斯拉将成为全球瞩目的焦点:特斯拉将在加利福尼亚州伯班克华纳兄弟工作室举行“Robotaxi Day”活动。届时,众多投资者和分析师们将看到期待已久的自动驾驶出租车Cybercab及其他产品的发布。 随着“Robotaxi Day”活动的逐步临近,特斯拉股价也在过去几周持续上涨,几乎抹平了年内跌幅——这也表…

    2024-10-10
    5.8K
  • 又发布两款新车的富士康还没在全新领域找到获胜之道

    致力于在电动汽车领域开辟新增长曲线的富士康发布两款全新电动汽车,将其乘用车产品阵容扩充至MPV领域。 10月8日,在一年一度的鸿海科技日上,富士康推出MPV车型Model D和中型电动巴士Model U。该MPV新车强调宽敞的内部空间,轴距达到3.2米。在800V电子电气架构的支持下,预计WLTP续航里程约为660公里。 富士康依然与意大利车身制造商宾尼法利…

    2024-10-09
    4.7K
  • 33亿增资,合肥为什么再次“抄底”蔚来?

    作为中国第一家在美国上市的电动车企,蔚来一度面临崩溃的边缘。 2019年年底,蔚来的股价触及1.32美元的低点,市值距离高点蒸发80%以上。 高瓴清空了蔚来股票,红杉也选择了减仓。 当时的李斌四处奔走请客吃饭,想为蔚来寻求融资输血。 一个故事是,一家国资的老总在席间直斥李斌”乱花钱”。 所谓的乱花钱,是指当时的新能源车企几乎都依赖补贴…

    2024-10-08
    3.2K
  • 美股半年收官:上半年涨14%,其中60%来自五大科技股,英伟达一家贡献超三成

    过去半年日渐黯淡的降息预期,丝毫没有影响美股的强势表现。 截至2024年6月28日收盘,标普500指数上半年累计上涨14%,略低于2023年上半年的表现,但仍然创下自千禧年互联网泡沫以来最强劲的半年度表现之一。 支撑美股涨势的关键支柱,就在于AI热潮。上半年,美股近60%的涨幅由仅五家科技巨头贡献——英伟达、微软、亚马逊、Meta和苹果,其中仅英伟达一家的涨…

    2024-06-29
    1.4K
  • OpenAI AI模型销量超越微软!年化收入达10亿美元

    在2019年与微软建立合作伙伴关系后,AI初创公司OpenAI显示出了惊人的销售能力,根据最新两家公司内部数据,截至3月,OpenAI通过出售对其AI模型的访问权限,产生了约10亿美元的年化收入。相比之下,微软的同类产品Azure OpenAI Service,直到最近才达到了10亿美元的年化收入(ARR)。(这里的“年化收入”是指取前一个月的收入数字,然后…

    2024-06-28
    1.3K
  • 赛道Hyper | 荣耀平板即将发布:探索护眼新玩法

    6月26日,在2024上海世界移动通信大会(以下简称“2024 MWC 上海”)上,荣耀CEO赵明在发表《AI共生时代,智能终端终将以人为中心赋能》的主题演讲中,首次向外界展示了两大突破性端侧AI创新:AI离焦视力舒缓技术和AI换脸检测技术,对智能终端厂商如何用AI赋能个人展示了新思路。 赵明将荣耀平板、笔电和手机相提并论,并向华尔街见闻透露:荣耀Magic…

    2024-06-27
    4.1K
  • 十年前的AI?大摩:为何VC圈一半会议都聊到量子计算

    近期,量子计算技术频繁出现在投资者的讨论中,成为继人工智能之后备受关注的前沿科技领域。摩根士丹利分析师Edward Stanley、Matias Ovrum在最新发布的研究报告深入分析了量子计算的发展现状及其对金融市场的潜在影响,为投资者提供了宝贵的洞察。 他们认为,量子计算目前仍然处于非常早期的阶段,在技术和政策上都不够成熟,企业、投资者、社会公众对量子计…

    2024-06-26
    2.3K
  • 突发!OpenAI停止不支持国家API,7月9日开始执行

    6月25日凌晨,有部分开发者收到了OpenAI的信,“根据数据显示,你的组织有来自OpenAl目前不支持的地区的API流量。从7月9日起,将采取额外措施,停止来自不在OpenAI支持的国家、地区名单上的API使用。” 但这位网友表示,他只在美国和乌克兰的第聂伯罗两个地方使用,都是在白名单上的,还是被无理由禁止。 并且当他试图去联系OpenAI的真人客服时,得…

    2024-06-25
    872
  • 还不到6个月,GPTs黄了

    上周,不少人发现微软官网忽然更新了一条“GPT Builder 即将停用”的通知。宣布将从7月10日起终止对Copilot GPT的支持,并会在四天内把平台上所有已创建的GPT连同相关数据全部删除。 如此猝不及防,因为就在仅仅3个月前, GPT Builder 才被微软打包进Copilot Pro服务正式推出。每月付费20美元的订阅用户可以根据特定需求,创建…

    2024-06-24
    1.9K
  • GPT-4o不香了?OpenAI竞争对手Anthropic发布最强大AI模型Claude 3.5

    6月20日周四,OpenAI竞争对手Anthropic发布了公司迄今为止性能最强大的AI模型Claude 3.5 Sonnet。 在覆盖阅读、编程、数学和视觉等领域的多项性能测试中,Claude 3.5 Sonnet的性能略胜一筹,吊打GPT-4o等一众竞争对手的AI模型,且优于自家旗舰模型Claude 3 Opus。当然,也有些测试不能完全反映AI在现实运…

    2024-06-21
    1.8K
  • “科八条”为资本市场带来哪些变化?

    值此五周年之际,科创板改革再出发 6月19日,陆家嘴论坛正式开幕,证监会主席吴清阐述了当前资本市场建设的三个着力点:一是积极主动拥抱新质生产力发展,二是大力推动上市公司提升投资价值,三是保护投资者。我们认为论坛延续了新“国九条”及资本市场“1+N”系列政策文件的表述,增量举措或在于新质生产力:继5年的“科创”耕耘后,科创板改革再出发,证监会于今日发布《关于深…

    2024-06-20
    1.8K
  • 英伟达高管和董事上半年卖股套现超7亿美元,黄仁勋本人也在其列

    市场对芯片的狂热需求令英伟达股价迭创新高,数据显示,该公司内部人士今年迄今已经卖股套现逾7亿美元,首席执行官黄仁勋也在套现之列。自从5月22日英伟达第一财季业绩公布以来,今年已有超过三分之一的内部人士减持股票。 根据Washington Service汇编的数据,剔除6月10日10股拆1股的影响,英伟达高管和董事迄今已卖掉约77万股英伟达股票,创2023年上…

    2024-06-19
    1.7K
  • 疑加密货币挖矿收入误导投资者遭起诉,英伟达上诉,美国最高法院受理

    美国最高法院周一同意受理英伟达的一项诉讼,该公司申请法庭撤销一项此前针对其的证券欺诈诉讼。此前,在营收中有多少来自波动较大的加密货币行业这个问题上,英伟达被指误导投资者。 此前,由瑞典斯德哥尔摩的投资管理公司E. Ohman J:or Fonder AB领衔一众英伟达股东,对英伟达和该公司首席执行官黄仁勋提起集体诉讼,指英伟达及其公司高层违反了1934年的《…

    2024-06-18
    1.3K
  • 大模型下一步在哪里?王小川、杨植麟等给出回答

    AI大模型是正在进行的新一轮技术革命,它最终能否通向AGI,在技术研发和商业落地之间该如何权衡,这是当下需要厘清的核心议题。 6月14日,在2024北京智源大会上,百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能CEO李大海等给出了最新的思考和判断。从理论研究层面来看,业内的共识是大模型可以通向AGI。 杨植麟认为,大模型是第一性原…

    2024-06-17
    1.2K
  • 马斯克在2024年特斯拉股东大会上的年度发言

    北京时间6月14日凌晨,特斯拉公司在得州超级工厂召开了2024年股东大会。本次股东大会因为两项意义重大的股东投票——重新批准埃隆的2018薪酬计划,及将特斯拉注册地迁往得州——而备受关注。 大会首先宣布了所有公司及股东提案的投票结果,正如埃隆在前一晚剧透的,这两项重要提案顺利通过。紧接着,埃隆上台致辞。今天的埃隆明显心情既激动又放松,为了表示对股东的感激之情…

    2024-06-15
    1.3K