大模型市场，不止带火HBM
近日，hbm成为芯片行业的火热话题。据trendforce预测，2023年高带宽内存（hbm）比特量预计将达到2.9亿gb，同比增长约60%，2024年预计将进一步增长30%。2008年被amd提出的hbm内存概念，在2013年被sk海力士通过tsv技术得以实现，问世10年后hbm似乎真的来到了大规模商业化的时代。
hbm的概念的起飞与aigc的火爆有直接关系。ai服务器对带宽提出了更高的要求，与 ddr sdram 相比，hbm 具有更高的带宽和更低的能耗。超高的带宽让hbm成为了高性能gpu的核心组件，hbm基本是ai服务器的标配。目前，hbm成本在ai服务器成本中占比排名第三，约占9%，单机平均售价高达18,000美元。
自从去年chatgpt出现以来，大模型市场就开始了高速增长，国内市场方面，百度、阿里、科大讯飞、商汤、华为等科技巨头接连宣布将训练自己的ai大模型。trendforce预测，2025年将有5个相当于chatgpt的大型aigc、25个midjourney的中型aigc产品、80个小型aigc产品，即使是全球所需的最小计算能力资源也可能需要 145,600 至 233,700 个英伟达a100 gpu。这些都是hbm的潜在增长空间。
2023年开年以来，三星、sk海力士hbm订单就快速增加，hbm的价格也水涨船高，近期hbm3规格dram价格上涨了5倍。三星已收到amd与英伟达的订单，以增加hbm供应。sk海力士已着手扩建hbm产线，目标将hbm产能翻倍。韩媒报道，三星计划投资约7.6亿美元扩产hbm，目标明年底之前将hbm产能提高一倍，公司已下达主要设备订单。
01 hbm在aigc中的优势
直接地说，hbm将会让服务器的计算能力得到提升。由于短时间内处理大量数据，ai服务器对带宽提出了更高的要求。hbm的作用类似于数据的“中转站”，就是将使用的每一帧、每一幅图像等图像数据保存到帧缓存区中，等待gpu调用。与传统内存技术相比，hbm具有更高带宽、更多i/o数量、更低功耗、更小尺寸，能够让ai服务器在数据处理量和传输速率有大幅提升。
来源：rambus
可以看到hbm在带宽方面有着“碾压”级的优势。如果 hbm2e 在 1024 位宽接口上以 3.6gbps 的速度运行，那么就可以得到每秒 3.7tb 的带宽，这是 lpddr5 或 ddr4 带宽的 18 倍以上。
除了带宽优势，hbm可以节省面积，进而在系统中安装更多gpu。hbm 内存由与 gpu 位于同一物理封装上的内存堆栈组成。
这样的架构意味着与传统的 gddr5/6 内存设计相比，可节省大量功耗和面积，从而允许系统中安装更多 gpu。随着 hpc、ai 和数据分析数据集的规模不断增长，计算问题变得越来越复杂，gpu 内存容量和带宽也越来越大是一种必需品。h100 sxm5 gpu 通过支持 80 gb（五个堆栈）快速 hbm3 内存，提供超过 3 tb/秒的内存带宽，是 a100 内存带宽的 2 倍。
过去对于hbm来说，价格是一个限制因素。但现在大模型市场上正处于百家争鸣时期，对于布局大模型的巨头们来说时间就是金钱，因此“贵有贵的道理”的hbm成为了大模型巨头的新宠。随着高端gpu需求的逐步提升，hbm开始成为ai服务器的标配。
目前英伟达的a100及h100，各搭载达80gb的hbm2e及hbm3，在其最新整合cpu及gpu的grace hopper芯片中，单颗芯片hbm搭载容量再提升20%，达96gb。
amd的mi300也搭配hbm3，其中，mi300a容量与前一代相同为128gb，更高端mi300x则达192gb，提升了50%。
预期google将于2023年下半年积极扩大与broadcom合作开发aisc ai加速芯片tpu也计划搭载hbm存储器，以扩建ai基础设施。
02 存储厂商加速布局
这样的“钱景”让存储巨头们加速对hbm内存的布局。目前，全球前三大存储芯片制造商正将更多产能转移至生产hbm，但由于调整产能需要时间，很难迅速增加hbm产量，预计未来两年hbm供应仍将紧张。
hbm的市场主要还是被三大dram巨头把握。不过不同于dram市场被三星领先，sk海力士在hbm市场上发展的更好。如开头所说，sk海力士开发了第一个hbm产品。2023年4月，sk 海力士宣布开发出首个24gb hbm3 dram产品，该产品用tsv技术将12个比现有芯片薄40%的单品dram芯片垂直堆叠，实现了与16gb产品相同的高度。同时，sk海力士计划在2023年下半年准备具备8gbps数据传输性能的hbm3e样品，并将于2024年投入量产。
国内半导体公司对hbm的布局大多围绕着封装及接口领域。
国芯科技目前正在研究规划合封多hbm内存的2.5d的芯片封装技术，积极推进chiplet技术的研发和应用。
通富微电公司2.5d/3d生产线建成后，将实现国内在hbm高性能封装技术领域的突破。
佰维存储已推出高性能内存芯片和内存模组，将保持对hbm技术的持续关注。
澜起科技pcie 5.0/cxl 2.0 retimer芯片实现量产，该芯片是澜起科技pcie 4.0 retimer产品的关键升级，可为业界提供稳定可靠的高带宽、低延迟pcie5.0/ cxl 2.0互连解决方案。
hbm虽好但仍需冷静，hbm现在依旧处于相对早期的阶段，其未来还有很长的一段路要走。而可预见的是，随着越来越多的厂商在ai和机器学习等领域不断发力，内存产品设计的复杂性正在快速上升，并对带宽提出了更高的要求，不断上升的宽带需求将持续驱动hbm发展。
hbm火热反映了aigc的带动能力。那么除了hbm和gpu，是否还有别的产品在这波新风潮中能够顺势发展？
03 谈谈其他被带火的芯片
fpga的优势开始显现
fpga（field programmable gate array，现场可编程门阵列）是一种集成电路，具有可编程的逻辑元件、存储器和互连资源。不同于asic（专用集成电路），fpga具备灵活性、可定制性、并行处理能力、易于升级等优势。
通过编程，用户可以随时改变fpga的应用场景，fpga可以模拟cpu、gpu等硬件的各种并行运算。因此，在业内也被称为“万能芯片”。
fpga对底层模型频繁变化的人工智能推理需求很有意义。fpga 的可编程性超过了 fpga 使用的典型经济性。需要明确的是，fpga 不会成为使用数千个 gpu 的大规模人工智能系统的有力竞争对手，但随着人工智能进一步渗透到电子领域，fpga 的应用范围将会扩大。
fpga相比gpu的优势在于更低的功耗和时延。gpu无法很好地利用片上内存，需要频繁读取片外的dram，因此功耗非常高。fpga可以灵活运用片上存储，因此功耗远低于gpu。
6月27日，amd宣布推出amd versal premium vp1902自适应片上系统（soc），是基于fpga的自适应soc。这是一款仿真级、基于小芯片的设备，能够简化日益复杂的半导体设计的验证。据悉，amd vp1902将成为全球最大的fpga，对比上一代产品（xilinx vu19p），新的vp1902增加了versal功能，并采用了小芯片设计，使fpga的关键性能增加了一倍以上。
东兴证券研报认为，fpga凭借其架构带来的时延和功耗优势，在ai推理中具有非常大的优势。浙商证券此前研报亦指出，除了gpu以外，cpu+fpga的方案也能够满足ai庞大的算力需求。
不同于hbm被海外公司垄断，国内公司fpga芯片已经有所积累。
安路科技主营业务为fpga芯片和专用eda软件的研发、设计和销售，产品已广泛应用于工业控制、网络通信、消费电子等领域。紫光国微子公司紫光同创是专业的fpga公司，设计和销售通用fpga芯片。紫光国微曾在业绩说明会上表示，公司的fpga芯片可以用于ai领域。东土科技主要开展fpga芯片的产业化工作，公司参股公司中科亿海微团队自主开发了支撑其fpga产品应用开发的eda软件。
国产替代新思路：存算一体+chiplet
能否利用我们现在可用的工艺和技术来开发在性能上可以跟英伟达对标的 ai 芯片呢？一些“新思路”出现了，例如存算一体+chiplet。
存算分离会导致算力瓶颈。ai技术的快速发展，使得算力需求呈爆炸式增长。在后摩尔时代，存储带宽制约了计算系统的有效带宽，系统算力增长步履维艰。例如，8块1080ti 从头训练bert模型需99天。存算一体架构没有深度多层级存储的概念，所有的计算都放在存储器内实现，从而消除了因为存算异构带来的存储墙及相应的额外开销；存储墙的消除可大量减少数据搬运，不但提升了数据传输和处理速度，而且能效比得以数倍提升。
一方面，存算一体架构与传统架构处理器处理同等算力所需的功耗会降低；另一方面，存算一体的数据状态都是编译器可以感知的，因此编译效率很高，可以绕开传统架构的编译墙。
美国亚利桑那州立大学的学者于 2021 年发布了一种基于 chiplet 的 imc 架构基准测试仿真器 siam, 用于评估这种新型架构在 ai 大模型训练上的潜力。siam 集成了器件、电路、架构、片上网络 (noc)、封装网络 (nop) 和 dram 访问模型，以实现一种端到端的高性能计算系统。siam 在支持深度神经网络 (dnn) 方面具有可扩展性，可针对各种网络结构和配置进行定制。其研究团队通过使用 cifar-10、cifar-100 和 imagenet 数据集对不同的先进 dnn 进行基准测试来展示 siam 的灵活性、可扩展性和仿真速度。据称，相对于英伟达 v100 和 t4 gpu, 通过 siam 获得的chiplet +imc 架构显示 resnet-50 在imagenet 数据集上的能效分别提高了 130 和 72。
这意味着，存算一体 ai 芯片有希望借助chiplet技术和 2.5d / 3d 堆叠封装技术实现异构集成，从而形成大型计算系统。存算一体 + chiplet 组合似乎是一种可行的实现方式，据称亿铸科技正在这条路上探索，其第一代存算一体 ai 大算力商用芯片可实现单卡算力 500t 以上，功耗在 75w 以内。也许这将开启 ai 算力第二增长曲线的序幕。
04 结语
世界人工智能大会上，amd ceo苏姿丰表示，未来十年一定会出现一个大型计算超级周期，因此，目前正是一个成为技术供应商的好时机，同时也是与一些将会利用这些技术开发不同应用的客户合作的好时机。
没有人想要一个只有一个主导者的行业。大模型市场能否让芯片行业拥有新的市场格局，能否让新玩家出现？
“大模型市场对芯片行业带来了新的市场格局和机会。通过推动ai芯片的发展、促进云计算和数据中心市场的增长以及引发竞争格局变化，大模型的兴起为芯片行业带来了新的发展方向。
需要注意的是，芯片行业是一个高度竞争和技术密集的行业。进入该行业需要庞大的资金和技术资源，以满足复杂的制造和研发要求。尽管大模型市场为新玩家提供了机会，但他们需要克服技术、资金和市场等方面的挑战，才能在竞争激烈的芯片行业中获得成功。”chatgpt如是回应。
设备堆砌就是信息化？智慧教室信息化应该是怎样的？
可独立配置方向的四通道电平转换器RS4T774特性介绍
华为AI Cube智能音箱引关注 可以变身4G路由器
两种不同冷却方式的小型手持激光焊接机价格差异
浅谈安全光栅传感器
大模型市场，不止带火HBM
史上最详细三大巨头IoT战略全解析
Spartan6开发中bufpll mapping error
空腔-SOI衬底制造MEMS谐振器的工艺流程
如何在欧洲新的MDR/IVDR下确定医疗和IVD设备的优先级
mcgs怎么在画面中做按钮
ios好用吗,苹果安全漏洞不断 密码形同虚设
HypnoVR宣布从投资者那里获得资金，并于2018年9月推出医疗催眠VR解决方案
光电液位传感器制取工艺流程
存储器产业低迷，中国存储器厂家或放缓投资速度
英飞凌计划扩大其无锡工厂的IGBT模块生产线
【注意】别让一块小小的强磁铁毁了你整个海缸
关于固态硅压阻压力传感器各大优点的介绍
爱康医疗A3全膝关节系统实现了国产膝关节产品在FDA认证零的突破
时域反射计TDR原理详细解析
hbm的概念的起飞与aigc的火爆有直接关系。ai服务器对带宽提出了更高的要求，与 ddr sdram 相比，hbm 具有更高的带宽和更低的能耗。超高的带宽让hbm成为了高性能gpu的核心组件，hbm基本是ai服务器的标配。目前，hbm成本在ai服务器成本中占比排名第三，约占9%，单机平均售价高达18,000美元。
自从去年chatgpt出现以来，大模型市场就开始了高速增长，国内市场方面，百度、阿里、科大讯飞、商汤、华为等科技巨头接连宣布将训练自己的ai大模型。trendforce预测，2025年将有5个相当于chatgpt的大型aigc、25个midjourney的中型aigc产品、80个小型aigc产品，即使是全球所需的最小计算能力资源也可能需要 145,600 至 233,700 个英伟达a100 gpu。这些都是hbm的潜在增长空间。
2023年开年以来，三星、sk海力士hbm订单就快速增加，hbm的价格也水涨船高，近期hbm3规格dram价格上涨了5倍。三星已收到amd与英伟达的订单，以增加hbm供应。sk海力士已着手扩建hbm产线，目标将hbm产能翻倍。韩媒报道，三星计划投资约7.6亿美元扩产hbm，目标明年底之前将hbm产能提高一倍，公司已下达主要设备订单。
01 hbm在aigc中的优势
直接地说，hbm将会让服务器的计算能力得到提升。由于短时间内处理大量数据，ai服务器对带宽提出了更高的要求。hbm的作用类似于数据的“中转站”，就是将使用的每一帧、每一幅图像等图像数据保存到帧缓存区中，等待gpu调用。与传统内存技术相比，hbm具有更高带宽、更多i/o数量、更低功耗、更小尺寸，能够让ai服务器在数据处理量和传输速率有大幅提升。
来源：rambus
可以看到hbm在带宽方面有着“碾压”级的优势。如果 hbm2e 在 1024 位宽接口上以 3.6gbps 的速度运行，那么就可以得到每秒 3.7tb 的带宽，这是 lpddr5 或 ddr4 带宽的 18 倍以上。
除了带宽优势，hbm可以节省面积，进而在系统中安装更多gpu。hbm 内存由与 gpu 位于同一物理封装上的内存堆栈组成。
这样的架构意味着与传统的 gddr5/6 内存设计相比，可节省大量功耗和面积，从而允许系统中安装更多 gpu。随着 hpc、ai 和数据分析数据集的规模不断增长，计算问题变得越来越复杂，gpu 内存容量和带宽也越来越大是一种必需品。h100 sxm5 gpu 通过支持 80 gb（五个堆栈）快速 hbm3 内存，提供超过 3 tb/秒的内存带宽，是 a100 内存带宽的 2 倍。
过去对于hbm来说，价格是一个限制因素。但现在大模型市场上正处于百家争鸣时期，对于布局大模型的巨头们来说时间就是金钱，因此“贵有贵的道理”的hbm成为了大模型巨头的新宠。随着高端gpu需求的逐步提升，hbm开始成为ai服务器的标配。
目前英伟达的a100及h100，各搭载达80gb的hbm2e及hbm3，在其最新整合cpu及gpu的grace hopper芯片中，单颗芯片hbm搭载容量再提升20%，达96gb。
amd的mi300也搭配hbm3，其中，mi300a容量与前一代相同为128gb，更高端mi300x则达192gb，提升了50%。
预期google将于2023年下半年积极扩大与broadcom合作开发aisc ai加速芯片tpu也计划搭载hbm存储器，以扩建ai基础设施。
02 存储厂商加速布局
这样的“钱景”让存储巨头们加速对hbm内存的布局。目前，全球前三大存储芯片制造商正将更多产能转移至生产hbm，但由于调整产能需要时间，很难迅速增加hbm产量，预计未来两年hbm供应仍将紧张。
hbm的市场主要还是被三大dram巨头把握。不过不同于dram市场被三星领先，sk海力士在hbm市场上发展的更好。如开头所说，sk海力士开发了第一个hbm产品。2023年4月，sk 海力士宣布开发出首个24gb hbm3 dram产品，该产品用tsv技术将12个比现有芯片薄40%的单品dram芯片垂直堆叠，实现了与16gb产品相同的高度。同时，sk海力士计划在2023年下半年准备具备8gbps数据传输性能的hbm3e样品，并将于2024年投入量产。
国内半导体公司对hbm的布局大多围绕着封装及接口领域。
国芯科技目前正在研究规划合封多hbm内存的2.5d的芯片封装技术，积极推进chiplet技术的研发和应用。
通富微电公司2.5d/3d生产线建成后，将实现国内在hbm高性能封装技术领域的突破。
佰维存储已推出高性能内存芯片和内存模组，将保持对hbm技术的持续关注。
澜起科技pcie 5.0/cxl 2.0 retimer芯片实现量产，该芯片是澜起科技pcie 4.0 retimer产品的关键升级，可为业界提供稳定可靠的高带宽、低延迟pcie5.0/ cxl 2.0互连解决方案。
hbm虽好但仍需冷静，hbm现在依旧处于相对早期的阶段，其未来还有很长的一段路要走。而可预见的是，随着越来越多的厂商在ai和机器学习等领域不断发力，内存产品设计的复杂性正在快速上升，并对带宽提出了更高的要求，不断上升的宽带需求将持续驱动hbm发展。
hbm火热反映了aigc的带动能力。那么除了hbm和gpu，是否还有别的产品在这波新风潮中能够顺势发展？
03 谈谈其他被带火的芯片
fpga的优势开始显现
fpga（field programmable gate array，现场可编程门阵列）是一种集成电路，具有可编程的逻辑元件、存储器和互连资源。不同于asic（专用集成电路），fpga具备灵活性、可定制性、并行处理能力、易于升级等优势。
通过编程，用户可以随时改变fpga的应用场景，fpga可以模拟cpu、gpu等硬件的各种并行运算。因此，在业内也被称为“万能芯片”。
fpga对底层模型频繁变化的人工智能推理需求很有意义。fpga 的可编程性超过了 fpga 使用的典型经济性。需要明确的是，fpga 不会成为使用数千个 gpu 的大规模人工智能系统的有力竞争对手，但随着人工智能进一步渗透到电子领域，fpga 的应用范围将会扩大。
fpga相比gpu的优势在于更低的功耗和时延。gpu无法很好地利用片上内存，需要频繁读取片外的dram，因此功耗非常高。fpga可以灵活运用片上存储，因此功耗远低于gpu。
6月27日，amd宣布推出amd versal premium vp1902自适应片上系统（soc），是基于fpga的自适应soc。这是一款仿真级、基于小芯片的设备，能够简化日益复杂的半导体设计的验证。据悉，amd vp1902将成为全球最大的fpga，对比上一代产品（xilinx vu19p），新的vp1902增加了versal功能，并采用了小芯片设计，使fpga的关键性能增加了一倍以上。
东兴证券研报认为，fpga凭借其架构带来的时延和功耗优势，在ai推理中具有非常大的优势。浙商证券此前研报亦指出，除了gpu以外，cpu+fpga的方案也能够满足ai庞大的算力需求。
不同于hbm被海外公司垄断，国内公司fpga芯片已经有所积累。
安路科技主营业务为fpga芯片和专用eda软件的研发、设计和销售，产品已广泛应用于工业控制、网络通信、消费电子等领域。紫光国微子公司紫光同创是专业的fpga公司，设计和销售通用fpga芯片。紫光国微曾在业绩说明会上表示，公司的fpga芯片可以用于ai领域。东土科技主要开展fpga芯片的产业化工作，公司参股公司中科亿海微团队自主开发了支撑其fpga产品应用开发的eda软件。
国产替代新思路：存算一体+chiplet
能否利用我们现在可用的工艺和技术来开发在性能上可以跟英伟达对标的 ai 芯片呢？一些“新思路”出现了，例如存算一体+chiplet。
存算分离会导致算力瓶颈。ai技术的快速发展，使得算力需求呈爆炸式增长。在后摩尔时代，存储带宽制约了计算系统的有效带宽，系统算力增长步履维艰。例如，8块1080ti 从头训练bert模型需99天。存算一体架构没有深度多层级存储的概念，所有的计算都放在存储器内实现，从而消除了因为存算异构带来的存储墙及相应的额外开销；存储墙的消除可大量减少数据搬运，不但提升了数据传输和处理速度，而且能效比得以数倍提升。
一方面，存算一体架构与传统架构处理器处理同等算力所需的功耗会降低；另一方面，存算一体的数据状态都是编译器可以感知的，因此编译效率很高，可以绕开传统架构的编译墙。
美国亚利桑那州立大学的学者于 2021 年发布了一种基于 chiplet 的 imc 架构基准测试仿真器 siam, 用于评估这种新型架构在 ai 大模型训练上的潜力。siam 集成了器件、电路、架构、片上网络 (noc)、封装网络 (nop) 和 dram 访问模型，以实现一种端到端的高性能计算系统。siam 在支持深度神经网络 (dnn) 方面具有可扩展性，可针对各种网络结构和配置进行定制。其研究团队通过使用 cifar-10、cifar-100 和 imagenet 数据集对不同的先进 dnn 进行基准测试来展示 siam 的灵活性、可扩展性和仿真速度。据称，相对于英伟达 v100 和 t4 gpu, 通过 siam 获得的chiplet +imc 架构显示 resnet-50 在imagenet 数据集上的能效分别提高了 130 和 72。
这意味着，存算一体 ai 芯片有希望借助chiplet技术和 2.5d / 3d 堆叠封装技术实现异构集成，从而形成大型计算系统。存算一体 + chiplet 组合似乎是一种可行的实现方式，据称亿铸科技正在这条路上探索，其第一代存算一体 ai 大算力商用芯片可实现单卡算力 500t 以上，功耗在 75w 以内。也许这将开启 ai 算力第二增长曲线的序幕。
04 结语
世界人工智能大会上，amd ceo苏姿丰表示，未来十年一定会出现一个大型计算超级周期，因此，目前正是一个成为技术供应商的好时机，同时也是与一些将会利用这些技术开发不同应用的客户合作的好时机。
没有人想要一个只有一个主导者的行业。大模型市场能否让芯片行业拥有新的市场格局，能否让新玩家出现？
“大模型市场对芯片行业带来了新的市场格局和机会。通过推动ai芯片的发展、促进云计算和数据中心市场的增长以及引发竞争格局变化，大模型的兴起为芯片行业带来了新的发展方向。
需要注意的是，芯片行业是一个高度竞争和技术密集的行业。进入该行业需要庞大的资金和技术资源，以满足复杂的制造和研发要求。尽管大模型市场为新玩家提供了机会，但他们需要克服技术、资金和市场等方面的挑战，才能在竞争激烈的芯片行业中获得成功。”chatgpt如是回应。
设备堆砌就是信息化？智慧教室信息化应该是怎样的？
可独立配置方向的四通道电平转换器RS4T774特性介绍
华为AI Cube智能音箱引关注 可以变身4G路由器
两种不同冷却方式的小型手持激光焊接机价格差异
浅谈安全光栅传感器
大模型市场，不止带火HBM
史上最详细三大巨头IoT战略全解析
Spartan6开发中bufpll mapping error
空腔-SOI衬底制造MEMS谐振器的工艺流程
如何在欧洲新的MDR/IVDR下确定医疗和IVD设备的优先级
mcgs怎么在画面中做按钮
ios好用吗,苹果安全漏洞不断 密码形同虚设
HypnoVR宣布从投资者那里获得资金，并于2018年9月推出医疗催眠VR解决方案
光电液位传感器制取工艺流程
存储器产业低迷，中国存储器厂家或放缓投资速度
英飞凌计划扩大其无锡工厂的IGBT模块生产线
【注意】别让一块小小的强磁铁毁了你整个海缸
关于固态硅压阻压力传感器各大优点的介绍
爱康医疗A3全膝关节系统实现了国产膝关节产品在FDA认证零的突破
时域反射计TDR原理详细解析