OpenAI自研芯片,有何独特之处?

近日,路透社报道称OpenAI正在考虑自研芯片。根据报道,自从去年开始,OpenAI已经开始在为人工智能模型训练芯片缺货(即Nvidia GPU供货紧张)的问题开始考虑对策,而目前正在积极准备自研芯片以满足未来对于人工智能芯片的需求。

事实上,不久之前OpenAI的CEO Sam Altman曾公开表示Nvidia GPU缺货对于OpenAI以及整个人工智能行业都存在着很大的影响。另外,从今年开始OpenAI开始招募硬件相关的人才,官方网站上有数个软硬件协同设计的职位在招聘,同时在今年九月OpenAI还招募了人工智能编译器领域的著名牛人Andrew Tulloch加入,这似乎也在印证OpenAI自研芯片方面的投入。OpenAI官方对此事拒绝发表评论,但是如果这件事最后落地的话,OpenAI将会是继谷歌、亚马逊、微软、特斯拉等之后有一个加入自研芯片行列的硅谷科技巨头。

OpenAI自研芯片,有何独特之处?

OpenAI为什么要自研芯片

如前所述,OpenAI自研芯片的主要动力是因为GPU缺货。更具体地说,是因为无论是购买Nvidia的GPU,还是使用基于GPU的云服务,价格都太贵,尤其是考虑到OpenAI未来模型训练需要的算力可能还会指数级提升。

OpenAI从数年前开始就布局生成式人工智能,而在去年的GPT-3以及去年下半年的ChatGPT公布后,由于这些生成式大语言模型的能力在过去数年内得到了大幅提升并且到达了可以和人类实现有意义的对话的地步,OpenAI一举成为了人工智能领域的领头羊,而生成式人工智能也成为了预计未来几年内对于人类社会影响最大的技术。根据路透社的报道,OpenAI去年录得收入2800万美元,而总体亏损为5.4亿美元;而OpenAI巨大的亏损背后,主要原因就是由于算力开销。值得注意的是,5.4亿美元的损失还是在生成式人工智能火爆前夕的2022年;在未来算力开销可望会指数级提升,这主要由于:

大模型竞争更激烈,模型进化速度变快,需要的算力快速提升:除了OpenAI之外,谷歌等科技巨头也在力推自己的大模型,这使得大模型的进化速度显著变快,未来预计一个季度到半年就要更新一代,而最尖端模型需要的算力估计每年都会上升一个数量级

大模型应用场景变得更广:目前,微软和谷歌已经在搜索和代码编写领域开始使用大模型,预计在未来会有更多的大模型应用场景,包括自动任务处理、多模态问答等等,而这些会让不同的模型数量大大提升,同时也大大提升了模型部署需要的总算力。

根据美国金融公司Bernstein的分析,如果ChatGPT的访问量达到谷歌搜索十分之一的水平(而这也是OpenAI未来的重要目标之一),那么每年OpenAI的GPU开销将达到160亿美元。而这样的开销,可能是未来OpenAI进一步规模化的一个重要瓶颈。

那么,OpenAI如果要自研芯片,那么将能把成本节省多少呢?目前,一台使用八卡Nvidia H100 GPU的服务器采购成本约为30万美元,加上云服务商的溢价使用这台服务器三年的总成本为100万美元左右(这是AWS的官方报价,其他云服务商提供的价格应该在同一数量级);如果OpenAI能用自研芯片把这样的八卡服务器的成本降低到10万美元以下,将会大大降低其成本。另一方面,如果自研芯片成功的话,在大规模部署的情况下单张加速卡的成本控制在1万美元以下应该很有希望,也即八卡服务器的成本控制在10万美元之下并非遥不可及。

OpenAI自研芯片,有何独特之处

目前,自研芯片的科技公司已经有不少,那么OpenAI如果自研芯片会和谷歌、亚马逊等科技公司的自研芯片有什么不同呢?

首先,OpenAI的自研芯片纯粹是为了自己的模型训练使用,这一点和谷歌、亚马逊等自研芯片并且目标放在云端服务器上供客户使用的商业模型不一样。对于谷歌、亚马逊等自研芯片供云服务客户使用的场合来说,由于用户使用模型的场景并不明确,使用的软件栈不确定、具体训练的模型也不确定,因此需要在芯片设计上满足兼容性的需求,而这样兼容性的考虑往往会以牺牲每个训练任务的效率和性能为代价。相反,OpenAI自研芯片只是为了自己使用,而且训练的模型非常明确:就是以Transformer为基本组件的大语言模型,而且使用的软件栈也完全控制在自己手里,因此可以确保设计有非常高的针对性。

第二点不同在于OpenAI对于模型有非常深入的理解。OpenAI在生成模型领域是领军企业,目前GPT系列模型仍然是大语言生成式模型中性能最好的模型,而且OpenAI在生成式模型领域有着多年积累,因此OpenAI对于目前生成式模型的各种设计方案有着深入的理解,这意味着OpenAI有足够的能力和积累做芯片-模型协同设计,能够根据芯片的特性去设计相应的模型,同时也可以根据模型的需求去明确芯片的设计指标,包括如何在计算单元、存储和芯片间互联之中做最优化的折衷等。最关键的是,OpenAI对于未来几年的生成式大模型的路线图有着行业中最明确的规划,这意味着即使自研芯片需要数年的时间,也不用过于担心芯片真正量产后已经无法赶上模型更新的局面。从这个角度来说,OpenAI的自研芯片和谷歌以及亚马逊都有很不一样的地方,但是和特斯拉的Dojo系列自研模型训练芯片却有相似之处;而和特斯拉又不一样的是,OpenAI对于模型训练的需求显然会远高于特斯拉,而这样的自研芯片的重要程度对于OpenAI来说也会更高。

OpenAI自研芯片,有何独特之处?

这些OpenAI的独特之处,让它有机会能实现使用非常规专用设计完成的高性能芯片。最近,Nvidia在官方博客中对于其GPU的性能提升规律做了分析:Nvidia的GPU算力在不到十年提升了1000倍,根据分析在1000倍算力提升中,计算精度的优化(即使用16位甚至8位浮点数来取代原本的32位浮点数计算)并且搭配专用的计算模块实现了16倍的性能提升,而芯片架构领域和编译器的协同优化又提供了12.5倍的性能提升,而另一方面半导体工艺带来的性能提升仅仅只有两倍。由此可见,在高性能计算芯片领域,算法和芯片架构协同设计(包括模型算法和编译器算法)才是主要的性能提升动力(也即Huang‘s Law),而从这一角度来说,OpenAI确实处于一个非常有利的地位,凭借着其对于算法的深刻理解,OpenAI可望可以充分利用Huang’s Law,从而在未来几年内实现高性能计算芯片的设计。

OpenAI自研芯片的挑战

OpenAI自研芯片除了有自己的优势之外,当然也有挑战。

OpenAI自研芯片的目标明确,就是用于大模型的高算力芯片。高算力芯片的首要挑战就是其复杂度,从芯片设计角度,高性能计算芯片中的计算单元、存储访问以及芯片间的互联都是需要仔细考虑。例如,为了能满足大模型的需求,芯片大概率会使用HBM内存;为了实现芯片的高能效比和规模化,预计会在先进工艺上搭配芯片粒等技术实现高良率;大模型通常会使用分布式计算,因此芯片间的互联就显得至关重要(Nvidia的NVLINK和InfiniBand技术对于GPU来说非常重要,OpenAI也需要类似的技术)。这些芯片设计组件每一个都需要有相当经验的团队来实现,而把这些组件集成在一起也需要非常优秀的架构设计来确保整体性能。OpenAI如何在短时间内组建一个有经验的团队来做这些具有挑战性的设计将是一个重要的挑战。

除了芯片设计之外,如何确保软件和硬件协同工作,或者换句话说如何设计一个高性能的编译器以及相关软件生态是OpenAI的另一大挑战。目前,Nvidia GPU的一个重要优势就是因为其CUDA软件系统,经过十多年的积累后已经有很高的性能以及兼容性。OpenAI的自研芯片中,编译器系统也需要实现CUDA这样的高性能才能完全利用芯片的算力。与其他针对云服务的科技公司自研芯片不同,OpenAI的芯片主要是供自己使用,因此无需太担心生态和对于用户模型支持度的问题,但是在编译性能上也需要达到和Nvidia的CUDA接近才行。事实上OpenAI在这个领域从早些时候已经开始有投入;今年七月OpenAI公布了自己的基于开源Triton语言的人工智能模型编译方案,可以把Python代码通过编译为使用开源Triton语言的中间代码(intermediate representation,IR),然后再使用Triton编译器和LLVM编译器编译到PTX代码,从而可以直接在支持PTX的GPU以及人工智能加速器上运行。从这个角度看,OpenAI对于编译器的投入或许就是其自研芯片的先声。

OpenAI自研芯片,有何独特之处?

最后,芯片的具体生产也会是一个挑战。如前所述,OpenAI大概率会使用先进工艺节点和高级封装技术来实现,因此如何确保生产的良率,以及更重要的是,如何在高级封装和先进工艺节点产能仍然有可能紧张的几年内获得足够的产能以量产,也是一个需要解决的问题。

考虑到这三个挑战,我们认为,OpenAI目前自研芯片的计划可能会是多步走。首先,在技术团队和生产问题没有完全解决前,OpenAI可以选择和微软(其最大股东,同时也有自研芯片计划Athena)以及Nvidia(或者AMD)合作,选择半定制化芯片,例如OpenAI提供芯片需要支持的一些指标,甚至提供一些IP,而可以和这些合作方一起把芯片设计和生产出来。而在技术团队和生产问题解决后,OpenAI可以选择大力投入自研的全定制芯片,从而完成最佳的性能和可控性。

内容链接:https://www.hpaper.cn/12553.html

(0)
上一篇 2023-10-09 上午10:11
下一篇 2023-10-09 上午10:15

相关推荐

  • 大UP质问平台为什么视频越来越糊,答案比问题要复杂得多

    文|王毓婵 编辑|乔芊 10月8日,在全网拥有超千万粉丝的视频创作者@影视飓风发布了一条视频,标题为《清晰度不如4年前!视频变糊是你的错觉吗?》。这条视频揭示了视频平台为降低流量费用支出,通过降低码率和调整编码格式压缩视频画质的现象。 “2024年,4K视频你应该已经司空见惯。各家平台争先恐后在画质上做文章,我们也在不断更新设备,提升节目的质量。但我们在平台…

    11小时前
    8
  • 特斯拉“命运日”即将到来:Robotaxi能否帮马斯克“翻身”?

    财联社10月10日讯(编辑 刘蕊)不到24小时之后,特斯拉将成为全球瞩目的焦点:特斯拉将在加利福尼亚州伯班克华纳兄弟工作室举行“Robotaxi Day”活动。届时,众多投资者和分析师们将看到期待已久的自动驾驶出租车Cybercab及其他产品的发布。 随着“Robotaxi Day”活动的逐步临近,特斯拉股价也在过去几周持续上涨,几乎抹平了年内跌幅——这也表…

    1天前
    8
  • 又发布两款新车的富士康还没在全新领域找到获胜之道

    致力于在电动汽车领域开辟新增长曲线的富士康发布两款全新电动汽车,将其乘用车产品阵容扩充至MPV领域。 10月8日,在一年一度的鸿海科技日上,富士康推出MPV车型Model D和中型电动巴士Model U。该MPV新车强调宽敞的内部空间,轴距达到3.2米。在800V电子电气架构的支持下,预计WLTP续航里程约为660公里。 富士康依然与意大利车身制造商宾尼法利…

    2天前
    7
  • 33亿增资,合肥为什么再次“抄底”蔚来?

    作为中国第一家在美国上市的电动车企,蔚来一度面临崩溃的边缘。 2019年年底,蔚来的股价触及1.32美元的低点,市值距离高点蒸发80%以上。 高瓴清空了蔚来股票,红杉也选择了减仓。 当时的李斌四处奔走请客吃饭,想为蔚来寻求融资输血。 一个故事是,一家国资的老总在席间直斥李斌”乱花钱”。 所谓的乱花钱,是指当时的新能源车企几乎都依赖补贴…

    3天前
    9
  • 跨国车企销量都跌了,为何仅欧美“狂”裁员?

    自今年以来,欧美汽车企业掀起了一股裁员浪潮。 福特、特斯拉、通用汽车、大众集团、Stellantis集团等跨国车企相继宣布裁员计划。车企本次裁员人数大多在千人以上,其中大众集团(正在与工会谈判中)和特斯拉更是超过万人规模。 这股寒流已经蔓延至零部件供应链。芯片制造商英飞凌、充电设备制造商Blink Charging、瑞典电池制造商Northvolt等零部件企…

    2024-09-30
    6
  • 7.99万就能提车的Model Y,还顶得住新势力的围攻吗

    9月27日,特斯拉上海超级工厂迎来第100万辆车下线。 从一片泥洼地到变成全球电动汽车巨头最大的海外基地,特斯拉上海工厂在不到4年时间里实现了产能和制造工艺的双双飞跃。 而随着特斯拉副总裁陶琳在社交媒体上写下“感谢每一位新老车主的爱和支持”的同时,这家电动车公司正在被它从前的一众门徒视为必须要跨越的门槛,9月集中上市的新车乐道L60、极氪7X等尤为雄心勃勃。…

    2024-09-29
    28
  • 逼退张大奕的退货率,让丰巢一年狂揽9个亿

    9月19日,曾经的“淘宝女装第一人”张大奕用小号发微博称,她将无限期延迟十年老店“吾欢喜的衣橱”的上新,宣告了这个曾经最火的淘宝女装店将关店。她称闭店是因为女装毛利微薄支撑不了各项运营成本,以及,电商越来越高的退货率。 就在张大奕宣布关店的三周前,丰巢刚刚向港交所提交招股书,寻求以250亿元的估值上市。招股书显示,连亏八年的丰巢终于在2024年前5个月有了7…

    2024-09-27
    963
  • OpenAI高层再震荡:CTO官宣离职,Sora恐长期停滞?| 最前线

    文|袁滢靓 编辑|邓咏仪 北京时间9月26日凌晨3点,OpenAI 首席技术官(CTO)Mira Murati在X上官宣辞职。那张成就了ChatGPT时代的四人合照,如今两个离职,一人休假,只剩下Altman一人扮演独角戏了。 △图源:X网友 @brewmarkets OpenAI的腥风血雨体质,也在另一方面体现了什么是“明星”公司。前脚GPT-4o高级语音…

    2024-09-26
    32
  • TikTok Shop鏖战美区,内容电商的蛰伏与加速

    TikTok Shop的内容电商,能给全球商家带来新一个增长奇迹吗? 文 | 华商韬略 梁梁 跨境电商正在重新定义全球电商格局。 过去五年,中国跨境电商规模增长超10倍,让数以千万计的中国商家因此扬帆出海,也成就了一张以核心电商平台为节点链接的全球商业网络。 这是一张史无前例的商业大网,它已经而且还在加速改变全球贸易和消费的格局,并且这张网还在不断进化与分化…

    2024-09-25
    1.4K
  • 华为三折叠黄牛价雪崩:从加近十万到仅加四千,黄牛气懵了

    正式发售不到48小时,华为三折叠屏手机Mate XT非凡大师黄牛价就崩了。 9月22日,很多数码博主在社交平台上发视频称,Mate XT三折叠手机价格雪崩,从加价六七万甚至十几万,暴跌至加价四千、两千。 甚至到了“每小时一个价”、“你要买我肯定有货;但你要卖我打死不收”的地步。 官方途径购买线上每天要“蹲点”抢‍‍‍‍‍‍‍‍线下无现货需排队几万人等待 ‍‍…

    2024-09-24
    2.2K
  • 马斯克终于“投降”,“我们的主权不容出售!”

    【文/观察者网专栏作者 蒂亚戈·诺加拉,翻译/ 陈佳芮】 在无视巴西最高法院的命令三周之后,马斯克终于“投降”,作出重大让步。 当地时间9月20日,在一份法庭文件中,社交平台X(原推特)公司的律师表示,X平台已遵守巴西最高法院的相关命令,希望法院能解除对其X平台在巴西境内的禁令。 有意思的是,在这次“X事件”中,一度曾是削弱国家主权和民主机构国际干预堡垒的巴…

    2024-09-23
    7.5K
  • 李斌的“县县通”,蔚来的新未来

    出品|网易科技《态度》栏目 作者|定西 这个中秋假期,李斌有点忙。 为了推进充电县县通和换电县县通计划的落地,他来到该计划最难的地方之一新疆进行实地考察。 时间紧迫。蔚来计划在2025年6月30日前,完成除台湾地区、香港特别行政区外,全国所有县级行政区充电桩全覆盖。今年10月前完成新疆14个地级行政区充电全覆盖,包框乌鲁木齐、克拉玛依、哈密、吐鲁番、昌吉、伊…

    2024-09-20
    1.3K
  • 小鹏回应MONA M03自动泊车撞上奥迪:不排除光线等因素致弱势场景

    IT之家 9 月 18 日消息,近期一起“小鹏 MONA M03 自动泊车撞上奥迪汽车”的事故,引起了IT之家网友的关注。据每日经济新闻今天下午报道,小鹏汽车相关负责人就此事回应称,“公司售后同学已经联系上客户,在积极处理解决中。” 关于自动泊车状态下发生剐蹭的原因,该负责人表示,目前不排除因光线及其他因素导致的弱势场景,具体原因还要结合具体的数据进行分析。…

    2024-09-18
    3.5K
  • 华为三折叠,炸出570万「黄牛」

    「核心提示」人人争当黄牛背后,是三折叠手机备受追捧。沉积的手机市场,太需要这样的“王炸”来唤醒了。 作者 | 陈法善 编辑 | 刘杨 备货量100万台,发布四天就有近570万人预约,华为三折叠手机Mate XT注定是今年最难抢的手机。 要知道,根据IDC的统计,2023年中国折叠屏手机总出货量约700.7万台。也就是说,华为这一个单品,就…

    2024-09-14
    1.1K
  • 比亚迪员工总数突破 90 万,技术研发人员近 11 万全球车企第一

    IT之家 9 月 13 日消息,比亚迪集团品牌及公关处总经理李云飞今日在微博上透露,今天,比亚迪员工总数突破 90 万,是 5300 多家 A 股上市公司里员工人数最多的,比第二名还要多 40 多万人。 李云飞还表示:“比亚迪 90 万员工中,技术研发人员近 11 万,是全球研发人员最多的车企。过去两年还招聘了近 5 万名优秀应届大学生,持续助力大学生就业。…

    2024-09-13
    531
  • 从Vertu到8848,奢侈品手机为何全军覆没

    华为三折叠终于发布了,19999元起售。 主要噱头是比折叠还多一折,但也引起了互联网的广泛争论。 在争论之中,黄牛早已率先抢购。 据网上消息,黄牛把三折叠已经炒到了一台65万。 一台38万,有人为了提升销量,黄牛给出的利好是全国可飞。 大家都知道这个溢价不可持续。可大家的疑惑点在于,华为三折叠的受众是谁? 为何有种魔幻的吸引力? 如果堆科技参数。 我可以告诉…

    2024-09-12
    781
  • 苹果谷歌的合作关系正在升级?苹果新推视觉搜索功能

    财联社9月11日讯(编辑 周子意)苹果在9月9日的发布会上推出了视觉搜索功能——“视觉智能(Visual Intelligence)”,这一功能提供了一种与软件和服务交互的新范式,也为其搜索引入了新的模式。 苹果将“视觉智能”描述为一种即时了解你所看到的一切的方式。发布会上,苹果解释称,“视觉智能”功能可以被用来做更多的事情,它不仅仅是一种帮助用户了解相机视…

    2024-09-11
    2.4K
  • 外媒评苹果新品发布会:AI或助苹果在中国保持竞争力

    9月10日消息,美国时间周一,苹果在2024秋季新品发布会上推出了最新款iPhone、Watch和AirPods等硬件产品。iPhone 16系列毫无疑问再次成为焦点。苹果押注,人工智能支持的iPhone将有助于提振销量,保持在中国市场的竞争力。以下是主流媒体对苹果发布会的点评: 路透社:AI助力苹果在中国市场保持竞争力 苹果最新发布的iPhone 16系列…

    2024-09-10
    2.2K
  • 华为Mate XT震撼发布:余承东宣布全球首款三折叠手机引领行业新潮流

    9月10日,华为在“见非凡品牌盛典及鸿蒙智行新品发布会”上正式推出了其备受瞩目的全球首款三折叠手机——华为Mate XT。华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东在发布会上发表演讲,详细介绍了这款集前沿科技与创新设计于一体的旗舰产品,并展望了其对行业未来的深远影响。 余承东激动地表示:“华为团队历经五年奋斗,终于将科幻变成现实,今天发布…

    2024-09-10
    518
  • 苹果与华为发布会“正面交锋”:iPhone 16 AI功能在中国大陆受限,华为Mate XT引领三折叠手机新风潮

    2024年9月10日,全球科技界迎来了一场前所未有的盛宴。苹果与华为两大科技巨头在这一天几乎同时举行了年度新品发布会,吸引了全球消费者的目光。然而,在这场科技盛宴中,iPhone 16系列与华为Mate XT三折叠手机的发布,不仅展示了各自品牌的最新技术创新,也揭示了科技行业竞争的新格局。 iPhone 16 AI功能在中国大陆受限 当地时间9月9日上午(北…

    2024-09-10
    181