2023年ChatGPT半导体行业研究报告

2023年ChatGPT半导体行业研究报告

导语

2017年谷歌推出一种用于自然语言理解的新型神经网络架构一一Transformers模型，不但能生成质量上乘的语言模型，同时具有更高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，可以更容易地针对特定领域做定制修改。

2018年以来，国内外超大规模预训练模型参数指标不断创出新高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模型。国外厂商自2023年开始进入“军备竞赛”阶段。

2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始逐渐走进人们的视野，成为人工智能领域的一大焦点。

2019年，OPenA1推出15亿参数的GPT-2,能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿参数的Megatron-1M,谷歌推出110亿参数的T5,微软推出170亿参数的图灵Turing-N1Go

2023年，OPenAI以1750亿参数的GPT-3,直接将参数规模提高到千亿级别。

2023年1月，谷歌推出的SwitchTransformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。2023年10月，微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-N1G）。2023年12

月，谷歌还提出了1.2万亿参数的通用稀疏语言模型G1aM,在7项

小样本学习领域的性能超过GPT-3o

ChatGPT背后的公司为OPenAI,成立于2015年，由特斯拉CEO埃隆•马斯克、PayPa1联合创始人彼得•蒂尔、1inkedin创始人里德•霍夫曼、创业孵化器YCombinator总裁阿尔特曼（SamA1tman）等人出资10亿美元创立。

OpenAI的诞生旨在开发通用人工智能（AG1）并造福人类。

ChatGPT中的GPT（GenerativePre-trainedTransformer）,是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天机器人。

截至2023年12月4日，OpenAI估计ChatGPT用户已经超过100万；2023年1月，ChatGPT用户超过1亿，成为迄今增长最快的消费应用程序。

2023年2月，OpenAI开始接受美国客户注册一项名为ChatGPTPIUS的高级服务，每月收费20美元；此夕卜,OPenA1正计划推出一个每月42美元的ChatGPT专业计划，当需求较低时可以免费使用。

OpenAI预计人工智能科学研究要想取得突破，所需要消耗的计算资源每3~4个月就要翻一倍，资金也需要通过指数级增长获得匹配。

在算力方面，GPT-3.5在微软AzureAI超算基础设施（由V100GPU组成的高带宽集）上进行训练，总算力消耗约3640PF-days（即每秒一千万亿次计算，运行3640天)。

在大数据方面，GPT-2用于训练的数据取自于Reddit上高赞的文章，数据集共有约800万篇文章，累计体积约40G；GPT-3模型的神经网络是在超过45TB的文本上进行训练的，数据相当于整个英文版的160倍。

按照量子位给出的数据，将一个大型语言模型(11M)训练到GPT-3级的成本高达460万美元。

最新的GPT3.5在训练中使用了微软专门建设的AI计算系统，由1万个英伟达V100GPU组成的高性能网络集，总算力消耗约3640PFdays(PD),即假如每秒计算一千万亿(1020)次，需要计算3640天。

采购一片英伟达顶级GPU成本为8万元，GPU服务器成本通常超过40万元。对于ChatGPT而言，支撑其算力基础设施至少需要上万颗英伟达GPUA100,一次模型训练成本超过1200万美元。

2023年全球AI芯片市场规模约为175亿美元,英伟达份额超80%

伴随着人工智能应用场景的多元化，新算法、新模型不断涌现，模型中的参数数量呈指数级增长，对算力的需求越来越大。OpenAI预估算力需求每3.5个月翻一倍，每年近10倍。

根据WSTS数据，2023年全球人工智能芯片市场规模约为175亿美元。随着人工智能技术日趋成熟，数字化基础设施不断完善，人工智能商业化应用将加落地，推动A1芯片市场高速增长，预计2025年全球人工智能芯片市场规模将达到726亿美元。

未来，随着自动驾驶级别的不断提高，对于A1芯片的需求正不

断增长。12和13+级汽车都会用AI芯片来取代分立的MCU芯片进行自动驾驶相关的计算工作。WSTS预计AI芯片的数量将从2023年的899万套增长至2025年的2380万套。

据IDC数据，2023年，中国加速卡出货量超过80万片，其中英伟达占据超过80%市场份额，此外其他市场参与者还包括AMD、百度、寒武纪、燧原科技、新华三、华为、Inte1和赛灵思等。2023年的采购主要集中在搭载V1O0、V100S.A1OO和T4的加速服务器上,此外英伟达的A10,A30、A40和At1as系列加速卡在部分领域已经开始使用。

据IDC数据，2023年，全球AI服务器市场规模达156亿美元,同比增长39.1%；IDC预测,2025年全球AI服务器市场规模将达317.9亿美元，年复合增长率为19%。

IDC报告显示，2023年中国加速服务器市场规模达到53.9亿美元（约350.3亿人民币）,同比+68.6%；预计到2026年将达到103.4亿美元。年复合增长率为19%,占全球整体服务器市场近三成。

根据IDC数据，2023年，GPU服务器以91.9%的份额占国内加速服务器市场的主导地位；NPU、ASIC和FPGA等非GPU加速服务器占比8.1%0IDC预计2024年中国GPU服务器市场规模将达到64亿美兀。

从行业的角度看，互联网依然是最大的采购行业，占整体加速服

务器市场近60%的份额；2023年，用于推理工作负载的加速服务器占

比已经达到57.6%,预计至IJ2026年将超过60%o

国内GPU产品梳理以及和国外产品的对比

加速计算GPU领域，国内壁仞科技发布的BR1Oo产品，在FP32

单精度计算性能实现超越NVIDIAAIOO芯片，但是不支持FP64双精度计算；天数智芯推出的天垓100的FP32单精度计算性能实现超越A1OO芯片，但是在INT8整数计算性能方面却低于A1O0；海光推出的DCUZ100实现了FP64双精度浮点计算，但是其性能为A1OO的60%左右。因此，从高精度浮点计算能力来看，国内GPU产品与国外产品的计算性能仍或有一代以上差距。

但是，GPU的表现不仅体现在硬件上，软件层面对于生态的布局尤其重要，目前国内企业多采用OPenC1进行自主生态建设，但这是需要大量的时间进行。对比AMD从2013年开始建设GPU生态近10年时间后才推出用于通用计算的ROCm开放式软件平台，我们认为国内厂商在软件和生态层面与英伟达CUDA生态的差距相较于硬件更为明显。

虽然目前国内产品的计算性能和软件生态与国际厂商还有较大差距，但是，国内厂商依然在奋起直追，努力实现GPU国产化突破。其中包括龙芯中科、海光信息、壁仞科技、寒武纪、天数智芯等厂商均在研发或推出用于AI计算的GPGPU›ASIC等A1芯片,有望实现高端A1芯片的国产替代。