OpenAI自研芯片,有何独特之处?

近日,路透社报道称OpenAI正在考虑自研芯片。根据报道,自从去年开始,OpenAI已经开始在为人工智能模型训练芯片缺货(即Nvidia GPU供货紧张)的问题开始考虑对策,而目前正在积极准备自研芯片以满足未来对于人工智能芯片的需求。

事实上,不久之前OpenAI的CEO Sam Altman曾公开表示Nvidia GPU缺货对于OpenAI以及整个人工智能行业都存在着很大的影响。另外,从今年开始OpenAI开始招募硬件相关的人才,官方网站上有数个软硬件协同设计的职位在招聘,同时在今年九月OpenAI还招募了人工智能编译器领域的著名牛人Andrew Tulloch加入,这似乎也在印证OpenAI自研芯片方面的投入。OpenAI官方对此事拒绝发表评论,但是如果这件事最后落地的话,OpenAI将会是继谷歌、亚马逊、微软、特斯拉等之后有一个加入自研芯片行列的硅谷科技巨头。

OpenAI自研芯片,有何独特之处?

OpenAI为什么要自研芯片

如前所述,OpenAI自研芯片的主要动力是因为GPU缺货。更具体地说,是因为无论是购买Nvidia的GPU,还是使用基于GPU的云服务,价格都太贵,尤其是考虑到OpenAI未来模型训练需要的算力可能还会指数级提升。

OpenAI从数年前开始就布局生成式人工智能,而在去年的GPT-3以及去年下半年的ChatGPT公布后,由于这些生成式大语言模型的能力在过去数年内得到了大幅提升并且到达了可以和人类实现有意义的对话的地步,OpenAI一举成为了人工智能领域的领头羊,而生成式人工智能也成为了预计未来几年内对于人类社会影响最大的技术。根据路透社的报道,OpenAI去年录得收入2800万美元,而总体亏损为5.4亿美元;而OpenAI巨大的亏损背后,主要原因就是由于算力开销。值得注意的是,5.4亿美元的损失还是在生成式人工智能火爆前夕的2022年;在未来算力开销可望会指数级提升,这主要由于:

大模型竞争更激烈,模型进化速度变快,需要的算力快速提升:除了OpenAI之外,谷歌等科技巨头也在力推自己的大模型,这使得大模型的进化速度显著变快,未来预计一个季度到半年就要更新一代,而最尖端模型需要的算力估计每年都会上升一个数量级

大模型应用场景变得更广:目前,微软和谷歌已经在搜索和代码编写领域开始使用大模型,预计在未来会有更多的大模型应用场景,包括自动任务处理、多模态问答等等,而这些会让不同的模型数量大大提升,同时也大大提升了模型部署需要的总算力。

根据美国金融公司Bernstein的分析,如果ChatGPT的访问量达到谷歌搜索十分之一的水平(而这也是OpenAI未来的重要目标之一),那么每年OpenAI的GPU开销将达到160亿美元。而这样的开销,可能是未来OpenAI进一步规模化的一个重要瓶颈。

那么,OpenAI如果要自研芯片,那么将能把成本节省多少呢?目前,一台使用八卡Nvidia H100 GPU的服务器采购成本约为30万美元,加上云服务商的溢价使用这台服务器三年的总成本为100万美元左右(这是AWS的官方报价,其他云服务商提供的价格应该在同一数量级);如果OpenAI能用自研芯片把这样的八卡服务器的成本降低到10万美元以下,将会大大降低其成本。另一方面,如果自研芯片成功的话,在大规模部署的情况下单张加速卡的成本控制在1万美元以下应该很有希望,也即八卡服务器的成本控制在10万美元之下并非遥不可及。

OpenAI自研芯片,有何独特之处

目前,自研芯片的科技公司已经有不少,那么OpenAI如果自研芯片会和谷歌、亚马逊等科技公司的自研芯片有什么不同呢?

首先,OpenAI的自研芯片纯粹是为了自己的模型训练使用,这一点和谷歌、亚马逊等自研芯片并且目标放在云端服务器上供客户使用的商业模型不一样。对于谷歌、亚马逊等自研芯片供云服务客户使用的场合来说,由于用户使用模型的场景并不明确,使用的软件栈不确定、具体训练的模型也不确定,因此需要在芯片设计上满足兼容性的需求,而这样兼容性的考虑往往会以牺牲每个训练任务的效率和性能为代价。相反,OpenAI自研芯片只是为了自己使用,而且训练的模型非常明确:就是以Transformer为基本组件的大语言模型,而且使用的软件栈也完全控制在自己手里,因此可以确保设计有非常高的针对性。

第二点不同在于OpenAI对于模型有非常深入的理解。OpenAI在生成模型领域是领军企业,目前GPT系列模型仍然是大语言生成式模型中性能最好的模型,而且OpenAI在生成式模型领域有着多年积累,因此OpenAI对于目前生成式模型的各种设计方案有着深入的理解,这意味着OpenAI有足够的能力和积累做芯片-模型协同设计,能够根据芯片的特性去设计相应的模型,同时也可以根据模型的需求去明确芯片的设计指标,包括如何在计算单元、存储和芯片间互联之中做最优化的折衷等。最关键的是,OpenAI对于未来几年的生成式大模型的路线图有着行业中最明确的规划,这意味着即使自研芯片需要数年的时间,也不用过于担心芯片真正量产后已经无法赶上模型更新的局面。从这个角度来说,OpenAI的自研芯片和谷歌以及亚马逊都有很不一样的地方,但是和特斯拉的Dojo系列自研模型训练芯片却有相似之处;而和特斯拉又不一样的是,OpenAI对于模型训练的需求显然会远高于特斯拉,而这样的自研芯片的重要程度对于OpenAI来说也会更高。

OpenAI自研芯片,有何独特之处?

这些OpenAI的独特之处,让它有机会能实现使用非常规专用设计完成的高性能芯片。最近,Nvidia在官方博客中对于其GPU的性能提升规律做了分析:Nvidia的GPU算力在不到十年提升了1000倍,根据分析在1000倍算力提升中,计算精度的优化(即使用16位甚至8位浮点数来取代原本的32位浮点数计算)并且搭配专用的计算模块实现了16倍的性能提升,而芯片架构领域和编译器的协同优化又提供了12.5倍的性能提升,而另一方面半导体工艺带来的性能提升仅仅只有两倍。由此可见,在高性能计算芯片领域,算法和芯片架构协同设计(包括模型算法和编译器算法)才是主要的性能提升动力(也即Huang‘s Law),而从这一角度来说,OpenAI确实处于一个非常有利的地位,凭借着其对于算法的深刻理解,OpenAI可望可以充分利用Huang’s Law,从而在未来几年内实现高性能计算芯片的设计。

OpenAI自研芯片的挑战

OpenAI自研芯片除了有自己的优势之外,当然也有挑战。

OpenAI自研芯片的目标明确,就是用于大模型的高算力芯片。高算力芯片的首要挑战就是其复杂度,从芯片设计角度,高性能计算芯片中的计算单元、存储访问以及芯片间的互联都是需要仔细考虑。例如,为了能满足大模型的需求,芯片大概率会使用HBM内存;为了实现芯片的高能效比和规模化,预计会在先进工艺上搭配芯片粒等技术实现高良率;大模型通常会使用分布式计算,因此芯片间的互联就显得至关重要(Nvidia的NVLINK和InfiniBand技术对于GPU来说非常重要,OpenAI也需要类似的技术)。这些芯片设计组件每一个都需要有相当经验的团队来实现,而把这些组件集成在一起也需要非常优秀的架构设计来确保整体性能。OpenAI如何在短时间内组建一个有经验的团队来做这些具有挑战性的设计将是一个重要的挑战。

除了芯片设计之外,如何确保软件和硬件协同工作,或者换句话说如何设计一个高性能的编译器以及相关软件生态是OpenAI的另一大挑战。目前,Nvidia GPU的一个重要优势就是因为其CUDA软件系统,经过十多年的积累后已经有很高的性能以及兼容性。OpenAI的自研芯片中,编译器系统也需要实现CUDA这样的高性能才能完全利用芯片的算力。与其他针对云服务的科技公司自研芯片不同,OpenAI的芯片主要是供自己使用,因此无需太担心生态和对于用户模型支持度的问题,但是在编译性能上也需要达到和Nvidia的CUDA接近才行。事实上OpenAI在这个领域从早些时候已经开始有投入;今年七月OpenAI公布了自己的基于开源Triton语言的人工智能模型编译方案,可以把Python代码通过编译为使用开源Triton语言的中间代码(intermediate representation,IR),然后再使用Triton编译器和LLVM编译器编译到PTX代码,从而可以直接在支持PTX的GPU以及人工智能加速器上运行。从这个角度看,OpenAI对于编译器的投入或许就是其自研芯片的先声。

OpenAI自研芯片,有何独特之处?

最后,芯片的具体生产也会是一个挑战。如前所述,OpenAI大概率会使用先进工艺节点和高级封装技术来实现,因此如何确保生产的良率,以及更重要的是,如何在高级封装和先进工艺节点产能仍然有可能紧张的几年内获得足够的产能以量产,也是一个需要解决的问题。

考虑到这三个挑战,我们认为,OpenAI目前自研芯片的计划可能会是多步走。首先,在技术团队和生产问题没有完全解决前,OpenAI可以选择和微软(其最大股东,同时也有自研芯片计划Athena)以及Nvidia(或者AMD)合作,选择半定制化芯片,例如OpenAI提供芯片需要支持的一些指标,甚至提供一些IP,而可以和这些合作方一起把芯片设计和生产出来。而在技术团队和生产问题解决后,OpenAI可以选择大力投入自研的全定制芯片,从而完成最佳的性能和可控性。

内容链接:https://www.hpaper.cn/12553.html

(0)
上一篇 2023-10-09 上午10:11
下一篇 2023-10-09 上午10:15

相关推荐

  • 硬件缺乏创新的苹果,比以往更需要人工智能

    缺乏创新,是苹果在过去几年里面临的最常见的批评。 事实也的确如此,在硬件层面,自从2017年iPhone X取消沿用10年的Home键后,苹果唯一看得见的创新差不多就是2022年的灵动岛了。最近的两年里,除了贵得惊人、不太可能成为大众消费设备的Vision Pro,苹果几乎没有交出任何让人耳目一新的工业设计成果。 随着每年更新的iPhone越来越缺乏新意,消…

    2024-07-02
    1.3K
  • 美股半年收官:上半年涨14%,其中60%来自五大科技股,英伟达一家贡献超三成

    过去半年日渐黯淡的降息预期,丝毫没有影响美股的强势表现。 截至2024年6月28日收盘,标普500指数上半年累计上涨14%,略低于2023年上半年的表现,但仍然创下自千禧年互联网泡沫以来最强劲的半年度表现之一。 支撑美股涨势的关键支柱,就在于AI热潮。上半年,美股近60%的涨幅由仅五家科技巨头贡献——英伟达、微软、亚马逊、Meta和苹果,其中仅英伟达一家的涨…

    2024-06-29
    968
  • OpenAI AI模型销量超越微软!年化收入达10亿美元

    在2019年与微软建立合作伙伴关系后,AI初创公司OpenAI显示出了惊人的销售能力,根据最新两家公司内部数据,截至3月,OpenAI通过出售对其AI模型的访问权限,产生了约10亿美元的年化收入。相比之下,微软的同类产品Azure OpenAI Service,直到最近才达到了10亿美元的年化收入(ARR)。(这里的“年化收入”是指取前一个月的收入数字,然后…

    2024-06-28
    978
  • 赛道Hyper | 荣耀平板即将发布:探索护眼新玩法

    6月26日,在2024上海世界移动通信大会(以下简称“2024 MWC 上海”)上,荣耀CEO赵明在发表《AI共生时代,智能终端终将以人为中心赋能》的主题演讲中,首次向外界展示了两大突破性端侧AI创新:AI离焦视力舒缓技术和AI换脸检测技术,对智能终端厂商如何用AI赋能个人展示了新思路。 赵明将荣耀平板、笔电和手机相提并论,并向华尔街见闻透露:荣耀Magic…

    2024-06-27
    3.8K
  • 十年前的AI?大摩:为何VC圈一半会议都聊到量子计算

    近期,量子计算技术频繁出现在投资者的讨论中,成为继人工智能之后备受关注的前沿科技领域。摩根士丹利分析师Edward Stanley、Matias Ovrum在最新发布的研究报告深入分析了量子计算的发展现状及其对金融市场的潜在影响,为投资者提供了宝贵的洞察。 他们认为,量子计算目前仍然处于非常早期的阶段,在技术和政策上都不够成熟,企业、投资者、社会公众对量子计…

    2024-06-26
    1.8K
  • 突发!OpenAI停止不支持国家API,7月9日开始执行

    6月25日凌晨,有部分开发者收到了OpenAI的信,“根据数据显示,你的组织有来自OpenAl目前不支持的地区的API流量。从7月9日起,将采取额外措施,停止来自不在OpenAI支持的国家、地区名单上的API使用。” 但这位网友表示,他只在美国和乌克兰的第聂伯罗两个地方使用,都是在白名单上的,还是被无理由禁止。 并且当他试图去联系OpenAI的真人客服时,得…

    2024-06-25
    619
  • 还不到6个月,GPTs黄了

    上周,不少人发现微软官网忽然更新了一条“GPT Builder 即将停用”的通知。宣布将从7月10日起终止对Copilot GPT的支持,并会在四天内把平台上所有已创建的GPT连同相关数据全部删除。 如此猝不及防,因为就在仅仅3个月前, GPT Builder 才被微软打包进Copilot Pro服务正式推出。每月付费20美元的订阅用户可以根据特定需求,创建…

    2024-06-24
    1.7K
  • GPT-4o不香了?OpenAI竞争对手Anthropic发布最强大AI模型Claude 3.5

    6月20日周四,OpenAI竞争对手Anthropic发布了公司迄今为止性能最强大的AI模型Claude 3.5 Sonnet。 在覆盖阅读、编程、数学和视觉等领域的多项性能测试中,Claude 3.5 Sonnet的性能略胜一筹,吊打GPT-4o等一众竞争对手的AI模型,且优于自家旗舰模型Claude 3 Opus。当然,也有些测试不能完全反映AI在现实运…

    2024-06-21
    1.5K
  • “科八条”为资本市场带来哪些变化?

    值此五周年之际,科创板改革再出发 6月19日,陆家嘴论坛正式开幕,证监会主席吴清阐述了当前资本市场建设的三个着力点:一是积极主动拥抱新质生产力发展,二是大力推动上市公司提升投资价值,三是保护投资者。我们认为论坛延续了新“国九条”及资本市场“1+N”系列政策文件的表述,增量举措或在于新质生产力:继5年的“科创”耕耘后,科创板改革再出发,证监会于今日发布《关于深…

    2024-06-20
    1.5K
  • 英伟达高管和董事上半年卖股套现超7亿美元,黄仁勋本人也在其列

    市场对芯片的狂热需求令英伟达股价迭创新高,数据显示,该公司内部人士今年迄今已经卖股套现逾7亿美元,首席执行官黄仁勋也在套现之列。自从5月22日英伟达第一财季业绩公布以来,今年已有超过三分之一的内部人士减持股票。 根据Washington Service汇编的数据,剔除6月10日10股拆1股的影响,英伟达高管和董事迄今已卖掉约77万股英伟达股票,创2023年上…

    2024-06-19
    1.4K
  • 疑加密货币挖矿收入误导投资者遭起诉,英伟达上诉,美国最高法院受理

    美国最高法院周一同意受理英伟达的一项诉讼,该公司申请法庭撤销一项此前针对其的证券欺诈诉讼。此前,在营收中有多少来自波动较大的加密货币行业这个问题上,英伟达被指误导投资者。 此前,由瑞典斯德哥尔摩的投资管理公司E. Ohman J:or Fonder AB领衔一众英伟达股东,对英伟达和该公司首席执行官黄仁勋提起集体诉讼,指英伟达及其公司高层违反了1934年的《…

    2024-06-18
    957
  • 大模型下一步在哪里?王小川、杨植麟等给出回答

    AI大模型是正在进行的新一轮技术革命,它最终能否通向AGI,在技术研发和商业落地之间该如何权衡,这是当下需要厘清的核心议题。 6月14日,在2024北京智源大会上,百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能CEO李大海等给出了最新的思考和判断。从理论研究层面来看,业内的共识是大模型可以通向AGI。 杨植麟认为,大模型是第一性原…

    2024-06-17
    944
  • 马斯克在2024年特斯拉股东大会上的年度发言

    北京时间6月14日凌晨,特斯拉公司在得州超级工厂召开了2024年股东大会。本次股东大会因为两项意义重大的股东投票——重新批准埃隆的2018薪酬计划,及将特斯拉注册地迁往得州——而备受关注。 大会首先宣布了所有公司及股东提案的投票结果,正如埃隆在前一晚剧透的,这两项重要提案顺利通过。紧接着,埃隆上台致辞。今天的埃隆明显心情既激动又放松,为了表示对股东的感激之情…

    2024-06-15
    960
  • 宁德时代、比亚迪竞赛超充,动力电池将进入6C时代

    电动汽车的充电速度正在卷向一个新的高度——6C倍率。 据36氪了解,宁德时代计划在下半年推出充电倍率达到6C的动力电池,为麒麟电池的二代产品。理想、极氪汽车等公司都已经与宁德时代就麒麟二代产品进行了技术交流,但尚未决定是否今年推出搭载相应技术的产品。 与此同时,三年未发布电池新品的比亚迪也在酝酿推出快充电池产品。有接近比亚迪的人士告诉36氪,比亚迪二代刀片电…

    2024-06-14
    2.9K
  • 财报超预期、宣布拆股,“AI热门股”博通盘后大涨13% | 财报见闻

    博通周四美股盘后发布第二财季业绩显示,得益于AI产品强劲需求的推动,该公司当季业绩超出分析师预期并上调全财年业绩指引,同时宣布10-1拆股计划,股价盘后涨超13%。 根据财报,博通第二财季调整后净营收124.9亿美元,高于分析师预期的120.6亿美元。其中半导体解决方案营收72亿美元,高于预期的71.2亿美元。AI产品营收达到31亿美元。 博通第二财季净利润…

    2024-06-13
    950
  • “苹果智能”:专注小模型

    在周二凌晨的 WWDC 大会上,苹果以 Apple Intelligence 取代 Artificial Intelligence 作为 AI 的代名词,大有重新定义 AI 的意思。原本吵得最凶最受关注的和 OpenAI 的合作,其实也只不过是提供一个 ChatGPT 接口而已,用不用都随用户。 从某种程度上来说,苹果的确称得上重新定义了 AI——与业内其他…

    2024-06-12
    967
  • 点燃中国大模型价格战!“量化巨头”如何成为“AI界的拼多多”

    2元/百万输出Tokens,DeepSeek-V2大模型推出一周后,便引爆业内“价格大战”。 字节将价格降至0.6元/百万输出Tokens 0.6元人民币,阿里随后将部分大模型价格骤降97%,百度也免费开放了两款文心一言模型…… “大模型黑马”DeepSeek由知名私募巨头幻方量化创立,其推出的DeepSeek-V2不仅性能在众多开源…

    2024-06-11
    1.7K
  • 英伟达离“封神”只差一步

    每一轮技术革新的浪潮,都能创造一个个的造富神话,“皮衣教主”黄仁勋也接住了这泼天富贵。 美东时间6月5日,英伟达股价一路飙升,市值迈过三万亿美元关口。当天,它也超越苹果,成为全球市值第二高的公司。 次日英伟达股价略有下跌,不过这种波动阻碍不了它狂奔的步伐,此时距它市值迈过两万亿美元,不过66个交易日。 以6月6日收盘价来算,英伟达只需再涨6%,便能超越微软成…

    2024-06-07
    648
  • AI服务器需求强劲 慧与盘后大涨15%

    强劲的AI服务器业务催化下,慧与科技(Hewlett Packard Enterprise)上季度收入与业绩指引超预期,公司股价盘后大涨15%。 隔夜,慧与公布的财报显示,公司第二财季收入增长3.3%至72亿美元。而一致预期为同比下降2%至68.2亿美元。上季度的每股收益也达到了42美分,超出一致预期的39美分。 超预期的部分主要来自慧与的服务器业务,上季度…

    2024-06-05
    967
  • 摩根大通评Computex亮点:GPU一年更新一次,Blackwell已投产,下一个风口“物理AI”

    5月29日周一,英伟达创始人兼CEO黄仁勋以主题演讲拉开了COMPUTEX大会上的序幕。 6月3日,摩根大通发布研报,总结了黄仁勋主题演讲的几大亮点。 1.发布强大的AI芯片路线图,2027年前每年推出一款新芯片 英伟达概述了其强大的路线图,2027年前每年推出一款新的AI芯片(2024年推出Blackwell,2025年推出配备更多HBM 的Blackwe…

    2024-06-04
    688