LLM风口背后，ChatGPT的成本问题
趁着chatgpt这一热门话题还未消退，我们来聊一聊这类大规模语言模型（llm）或通用人工智能（agi）背后的细节。毕竟目前相关的概念股跟风大涨，但还是有不少人在持观望态度。无论是国外还是国内，有没有可能做出下一个chatgpt？以及打造这样一个模型所需的研发成本和运营成本究竟是多少。
chatgpt背后的成本，以及gpu厂商等候多时的增长点
首先，chatgpt是openai预训练的对话模型，除去训练本身所需的硬件与时间成本外，运营时的推理成本也要算在其中。根据ubs分析师timothy arcuri的观点，chatgpt使用到了至少1万块英伟达的gpu来运营这一模型。不过这还是相对较为保守的数据，根据semianalysis分析师dylan patel对模型参数、日活跃用户数以及硬件利用率等种种因素的分析，他粗略估计openai需要用到3617个hgx a100服务器来维持chatgpt的运转。
hgx a100 / 英伟达
需要注意的是，该分析中的hgx a100服务器是8块a100 sxm的定制化模块，并非dgx a100这样集成了amd cpu的标准服务器模块，也就是说共需28936块英伟达a100 gpu。且不说a100本身就高昂的售价，更何况现在还有一定的溢价。一张40gb的a100 pcie卡，目前在亚马逊上的单价为8000多美元，而80gb的a100 pcie卡价格在15000美元左右浮动。
由此估算，运行chatgpt的前期设备投入成本少说也有2.3亿美元，这其中还没算进cpu、内存、硬盘和网关等设备的硬件成本。所有gpu同时运转时的tdp功耗达到7234kw。按照美国商用电价来计算的话，哪怕是每日运转单由gpu带来的电费也至少要两万美元以上。这样的设备成本除非是微软、谷歌、亚马逊这样本就手握大把服务器硬件资源的厂商，否则很难支撑这一模型的日常运转。
接着我们再从每次查询的推理成本这个角度来看，如果只负责在服务器上部署chatgpt的openai无需考虑设备购入成本，而是只考虑gpu云服务器的定价。根据dylan patel的估算，chatgpt每次查询的成本为0.36美分，约合2.4分人民币，每天在硬件推理上的成本也高达70万美元。由此来看，无论是openai现在免费提供的chatgpt，还是微软在bing上启用的chatgpt，其实都是在大把烧钱。
要知道，现在还只是用到了chatgpt这一文本语言模型，根据openai的ceo sam altman的说法，他们的ai视频模型也在准备当中。而要想打造更复杂的视频模型，势必会对gpu算力提出更高的要求。
未来的硬件成本会更低吗？
对于任何一个想要运行chatgpt这类服务的厂商，打造这样一款应用都要付出不小的成本，所以现阶段还是微软、谷歌之类的巨头相互博弈。但sam altman也表示，随着越来越多的竞争出现，毋庸置疑会把硬件成本压低，也会把每个token的定价压低。
jasper ai写作工具的定价 / jasper.ai
大家可以参照一下其他利用openai的gpt-3的ai工具，比如jasper。jasper作为一个人工智能写作软件，每月需要缴纳50美元，才能享受5万字的写作字数上限。而反观chatgpt，哪怕是目前的免费版也能帮你写就长篇故事了。而这些工具鼓吹的多种模板，在chatgpt中也只是换一种问法而已。
sam altman认为会有更多的玩家入局agi，如此一来chatgpt这种类型的服务会出现在更多的产品和应用中，而不再只是作为大厂的附庸，比如只在微软的bing、office中大规模使用等，这也是openai还考虑授权给其他公司的原因。
不过如果依照谷歌的访问和搜索量来部署chatgpt或bard这样类似模型的话，所需的成本必定要远远高于bing，毕竟谷歌依然是目前国际领先的搜索引擎。
如果谷歌用其tpu之类的专用硬件来完成llm的训练与推理，其成本必然显著低于gpu这类通用硬件的，毕竟tpu这类asic芯片在量产成本和运行功耗上都有着得天独厚的优势。
但谷歌如果使用专用硬件的话，可能会存在强制绑定的问题，哪怕谷歌选择公开tpu商业运营，如果想用集成bard的合作客户也基本与谷歌云绑定了，就像现在的chatgpt与微软azure强制绑定一样。而且如果bard出现算法路线上的大变动，tpu这种asic方案很难再对其进行针对性优化。
由此可以看出，虽然大小入局者众多，但真正落地、可大规模使用且还算好用的产品还是只有chatgpt一个，要想等到行业内卷压低成本，可能还得等上很长一段时间。
chatgpt如何实现盈利？
微软高调宣布与openai合作，并将chatgpt融入bing等一系列微软产品中，这已经不是什么新闻了。但其实这样的合作关系昭示了chatgpt的一种盈利方式，那就是授权。除了微软这种深度合作的厂商以外，其他应用开发商也可以采用授权的方式，将chatgpt集成到自己的产品中去。
不过sam altman在接受外媒采访时表示，他们目前在授权上的合作还并不多。由此猜测，要么是此类授权费用昂贵，要么就是缺少成熟的产品形态来应用这一技术，毕竟当下还算强相关的应用也只有搜索引擎、写作工具以及ai助手等。再说，对于感兴趣想尝鲜的厂商来说，直接接入openai的api或许价格反倒更低。
另一种盈利方式，也是现在最流行且已被普遍接受的收费模式，订阅制。2月1日，openai正式推出了20美元一个月的chatgpt plus，提供高峰时期的访问、更快的响应速度以及新功能和改进的抢先体验。
结语
总的来说，chatgpt这类agi作为元宇宙之后的又一大风口，激发了一股初创公司入局llm的热潮。但从客观来看，对于这些初创公司来说，他们打从一开始根本不需要考虑市场风险，比如这会不会是个伪需求。他们更应该担心的应该是技术风险，也就是究竟有没有这个实力和资本去打造一个可用的llm。
长虹空调革新清洗思路 为用户打造更高端的品质生活
TCL获得黑莓授权 将在全球生产和销售黑莓设备
人工智能技术如何在安防行业进行更深入的发展
快讯：中芯国际7月16日科创板上市 华为上半年收入增长13.1%
创新显示技术仍无法撼动液晶的地位
LLM风口背后，ChatGPT的成本问题
统计机器学习常见算法分类的学习方式
全球智能手机市场利润Q3苹果独占九成 再次创造新纪录
联合电子首款悬架控制器批量下线
3G直放站与分布式基站的技术发展
虚拟串口屏工作原理
尚航科技IPO申请资料正式获受理
国仪量子携电子顺磁共振波谱仪等解决方案亮相第八届全国碳催化学术会议
LTM8054 14.4V、3A 铅酸电池充电器输入电流限制为 2A
Pico.1虚拟现实头盔评测 整机状态表现不俗
交流直流电源之间如何进行变换，变压器、整流器、逆变器、DC-DC变换器的区别
无线智能照明控制系统的“无线”是如何实现的
5G共建的时候为何不见中国移动
利用掩膜技术实现DSP程序加密保护体制的设计
BAT争相入局自动驾驶 百度的野心最大而腾讯紧随其后
chatgpt背后的成本，以及gpu厂商等候多时的增长点
首先，chatgpt是openai预训练的对话模型，除去训练本身所需的硬件与时间成本外，运营时的推理成本也要算在其中。根据ubs分析师timothy arcuri的观点，chatgpt使用到了至少1万块英伟达的gpu来运营这一模型。不过这还是相对较为保守的数据，根据semianalysis分析师dylan patel对模型参数、日活跃用户数以及硬件利用率等种种因素的分析，他粗略估计openai需要用到3617个hgx a100服务器来维持chatgpt的运转。
hgx a100 / 英伟达
需要注意的是，该分析中的hgx a100服务器是8块a100 sxm的定制化模块，并非dgx a100这样集成了amd cpu的标准服务器模块，也就是说共需28936块英伟达a100 gpu。且不说a100本身就高昂的售价，更何况现在还有一定的溢价。一张40gb的a100 pcie卡，目前在亚马逊上的单价为8000多美元，而80gb的a100 pcie卡价格在15000美元左右浮动。
由此估算，运行chatgpt的前期设备投入成本少说也有2.3亿美元，这其中还没算进cpu、内存、硬盘和网关等设备的硬件成本。所有gpu同时运转时的tdp功耗达到7234kw。按照美国商用电价来计算的话，哪怕是每日运转单由gpu带来的电费也至少要两万美元以上。这样的设备成本除非是微软、谷歌、亚马逊这样本就手握大把服务器硬件资源的厂商，否则很难支撑这一模型的日常运转。
接着我们再从每次查询的推理成本这个角度来看，如果只负责在服务器上部署chatgpt的openai无需考虑设备购入成本，而是只考虑gpu云服务器的定价。根据dylan patel的估算，chatgpt每次查询的成本为0.36美分，约合2.4分人民币，每天在硬件推理上的成本也高达70万美元。由此来看，无论是openai现在免费提供的chatgpt，还是微软在bing上启用的chatgpt，其实都是在大把烧钱。
要知道，现在还只是用到了chatgpt这一文本语言模型，根据openai的ceo sam altman的说法，他们的ai视频模型也在准备当中。而要想打造更复杂的视频模型，势必会对gpu算力提出更高的要求。
未来的硬件成本会更低吗？
对于任何一个想要运行chatgpt这类服务的厂商，打造这样一款应用都要付出不小的成本，所以现阶段还是微软、谷歌之类的巨头相互博弈。但sam altman也表示，随着越来越多的竞争出现，毋庸置疑会把硬件成本压低，也会把每个token的定价压低。
jasper ai写作工具的定价 / jasper.ai
大家可以参照一下其他利用openai的gpt-3的ai工具，比如jasper。jasper作为一个人工智能写作软件，每月需要缴纳50美元，才能享受5万字的写作字数上限。而反观chatgpt，哪怕是目前的免费版也能帮你写就长篇故事了。而这些工具鼓吹的多种模板，在chatgpt中也只是换一种问法而已。
sam altman认为会有更多的玩家入局agi，如此一来chatgpt这种类型的服务会出现在更多的产品和应用中，而不再只是作为大厂的附庸，比如只在微软的bing、office中大规模使用等，这也是openai还考虑授权给其他公司的原因。
不过如果依照谷歌的访问和搜索量来部署chatgpt或bard这样类似模型的话，所需的成本必定要远远高于bing，毕竟谷歌依然是目前国际领先的搜索引擎。
如果谷歌用其tpu之类的专用硬件来完成llm的训练与推理，其成本必然显著低于gpu这类通用硬件的，毕竟tpu这类asic芯片在量产成本和运行功耗上都有着得天独厚的优势。
但谷歌如果使用专用硬件的话，可能会存在强制绑定的问题，哪怕谷歌选择公开tpu商业运营，如果想用集成bard的合作客户也基本与谷歌云绑定了，就像现在的chatgpt与微软azure强制绑定一样。而且如果bard出现算法路线上的大变动，tpu这种asic方案很难再对其进行针对性优化。
由此可以看出，虽然大小入局者众多，但真正落地、可大规模使用且还算好用的产品还是只有chatgpt一个，要想等到行业内卷压低成本，可能还得等上很长一段时间。
chatgpt如何实现盈利？
微软高调宣布与openai合作，并将chatgpt融入bing等一系列微软产品中，这已经不是什么新闻了。但其实这样的合作关系昭示了chatgpt的一种盈利方式，那就是授权。除了微软这种深度合作的厂商以外，其他应用开发商也可以采用授权的方式，将chatgpt集成到自己的产品中去。
不过sam altman在接受外媒采访时表示，他们目前在授权上的合作还并不多。由此猜测，要么是此类授权费用昂贵，要么就是缺少成熟的产品形态来应用这一技术，毕竟当下还算强相关的应用也只有搜索引擎、写作工具以及ai助手等。再说，对于感兴趣想尝鲜的厂商来说，直接接入openai的api或许价格反倒更低。
另一种盈利方式，也是现在最流行且已被普遍接受的收费模式，订阅制。2月1日，openai正式推出了20美元一个月的chatgpt plus，提供高峰时期的访问、更快的响应速度以及新功能和改进的抢先体验。
结语
总的来说，chatgpt这类agi作为元宇宙之后的又一大风口，激发了一股初创公司入局llm的热潮。但从客观来看，对于这些初创公司来说，他们打从一开始根本不需要考虑市场风险，比如这会不会是个伪需求。他们更应该担心的应该是技术风险，也就是究竟有没有这个实力和资本去打造一个可用的llm。
长虹空调革新清洗思路 为用户打造更高端的品质生活
TCL获得黑莓授权 将在全球生产和销售黑莓设备
人工智能技术如何在安防行业进行更深入的发展
快讯：中芯国际7月16日科创板上市 华为上半年收入增长13.1%
创新显示技术仍无法撼动液晶的地位
LLM风口背后，ChatGPT的成本问题
统计机器学习常见算法分类的学习方式
全球智能手机市场利润Q3苹果独占九成 再次创造新纪录
联合电子首款悬架控制器批量下线
3G直放站与分布式基站的技术发展
虚拟串口屏工作原理
尚航科技IPO申请资料正式获受理
国仪量子携电子顺磁共振波谱仪等解决方案亮相第八届全国碳催化学术会议
LTM8054 14.4V、3A 铅酸电池充电器输入电流限制为 2A
Pico.1虚拟现实头盔评测 整机状态表现不俗
交流直流电源之间如何进行变换，变压器、整流器、逆变器、DC-DC变换器的区别
无线智能照明控制系统的“无线”是如何实现的
5G共建的时候为何不见中国移动
利用掩膜技术实现DSP程序加密保护体制的设计
BAT争相入局自动驾驶 百度的野心最大而腾讯紧随其后