在为生成式AI构建商业案例时，IT领导者需要考虑很多成本考虑因素，有些显而易见，有些则是隐藏成本。

其中最明显的费用之一是与大型语言模型（LLM）和SaaS订阅相关的费用。随后是不太明显的成本：准备数据、升级云基础设施和管理组织变革。

另一个潜在成本是生成式AI的能源消耗。训练LLM需要大量的计算能力，响应用户请求也是如此，例如回答问题或创建图像。这种计算密集型功能会产生热量，还需要复杂的数据中心冷却系统，这些系统也会消耗能源。

生成式AI工具的企业消费者并没有专注于该技术的功率需求。但这些要求正受到更多的关注，至少在高层级是这样。在今年1月，由29个工业化国家组成的论坛国际能源机构（IEA）预测，全球数据中心、人工智能和加密货币的用电量到2026年可能会翻一番。国际能源署的《2024年电力》报告指出，2026年数据中心的用电量可能超过1000兆瓦时，该机构称这相当于整个日本的全部用电量。

高盛在4月份的一份报告中也指出了能源使用螺旋式上升，并称主要是因为人工智能。据这家金融服务公司称，人工智能的增长（以及其他因素，例如更广泛的能源需求）导致“数据中心的电力激增”。该报告预计到2030年，全球数据中心用电量将翻一番多。

对于生成式AI投资回报率计算来说，我们尚不清楚更高的能源消耗意味着什么。迄今为止，生成式AI部署的预期收益已经超过能源成本的担忧。一般企业还没有发展到需要考虑能源问题的阶段，这主要是超大规模企业的问题。例如，谷歌报告称其2023年温室气体排放量同比增长了13%，主要原因是数据中心的能源消耗增加，并指出人工智能是主要因素。

该公司在其《2024年环境报告》中指出：“随着我们进一步将人工智能整合到我们的产品中，由于人工智能计算强度更高的能源需求增加，减少排放可能具有挑战性。”

但行业高管建议，作为先进技术使用者的企业应该考虑生成式AI的能源维度，即使这还没有成为关键的采用障碍。

普华永道咨询公司美国和全球首席人工智能工程官Scott Likens说：“我不会说这是一个障碍，但我们确实认为这是长期战略的关键部分。这里有能源消耗，你不会认为这是理所当然。企业在某个地方有成本，我们必须考虑到这一点。”

核算能源成本

生成式AI的企业消费者可能不会将能源成本视为账单项目，但它确实存在。

位于加利福尼亚州尔湾市的AWS云服务提供商Caylent公司的数据和应用程序高级总监Ryan Gross表示，生成式AI的能源消耗与成本成正比。

大部分能源成本来自两类：模型训练和模型推理。每次用户使用生成式AI工具创建响应时，就会发生模型推理。与训练LLM相比，与单个查询相关的能源消耗微不足为微，相当于几美分与数百万美元的区别。然而，单个查询的电源需求和成本会随着时间的推移而增加，并且，面对的是数百万用户的查询。

客户如何拥抱这些成本仍然有点模糊不清。如果企业使用企业版的生成式AI产品，则需要支付许可费来访问该技术。只要能源成本被纳入费用中，这些费用就分散到整个客户群中。

事实上，普华永道1月份发表的一项可持续性研究发现，生成式AI的功耗（例如，在模型训练期间）分散在每个使用模型的公司实体中。

Likens说：“由于基础训练是共享的，你实际上将成本分散到很多用户中。”

至于推理成本，生成式AI供应商使用代币系统来评估LLM使用费。每个代币都要收费，查询越复杂，供应商处理的代币就越多。更多的代币预示着更高的能源消耗，因为推理需要电力。但对企业的财务影响似乎很小。

在提到普华永道内部对生成式AI的使用时，Likens说：“自去年以来，代币成本有所下降。因此，尽管我们更多地使用它，但推理成本并不是很大的成本驱动因素。”

Likens说，生成式AI部署的最大成本贡献者仍然是常见因素，例如基础设施和数据准备。

日立数字服务公司（日立有限公司的技术服务子公司）能源和公用事业副总裁Rajesh Devnani也有类似的观点。他承认生成式AI能源使用的重要性，并引用了各种评估数据，即生成式AI查询响应的功耗至少是典型互联网搜索查询的四到五倍。但他指出，其他成本贡献者在确定财务回报方面发挥着更大的作用：数据准备和持续的数据治理；培训和变更管理；以及模型训练，其中包括基础设施和工具成本。

他说：“生成式AI的投资回报率计算绝对应该将能源成本视为相关成本因素，尽管它不会算作最重要的因素。”

间接影响能源消耗

大多数生成式AI采用者似乎并不担心能源成本上升。但当他们应对其他部署挑战时，他们最终可能会间接解决使用问题。

这种观点与企业如何看待其首要障碍有很大关系。Gross说，直到最近，模型的成本效益使企业无法将生成式AI从有限部署扩展到整个客户群。但他补充说，最新一代的模型更经济。

例如，据该公司称，OpenAI于7月发布的GPT-4o mini在处理的每个代币收费方面比GPT-3.5 Turbo便宜60%。

在这种背景下，企业现在开始关注用户期望，特别是生成式AI模型满足请求所需的时间。

Gross称：“这更像是延迟问题。用户不会接受我们从可用性视角中看到的东西。”

然而，企业可以利用更小、更微调的模型来减少延迟。此类模型通常需要更少的计算资源，因此，运行所需的能耗更少。Gross说，企业还可以涵盖较小的模型，作为多模型生成式AI方法的一部分。多种模型提供了一系列延迟和准确性水平，以及不同的碳足迹。

此外，代理AI的出现意味着问题可以分解为多个步骤，并通过自主代理路由到最佳的生成式AI模型。不需要通用LLM的模型提示词被发送到较小的模型，以加快处理速度，并降低能源消耗。

但是，尽管人们对延迟的兴趣越来越大，但成本效益仍然是生成式AI采用者的问题。

Likens表示：“总的来说，我们正试图使用代理架构来优化成本。我们可以为正确的模型筛选故障问题，使得花费最少，并可获得最高的准确性。”

然而，Likens指出，构建AI代理和创建有效代理架构的企业也将减少能源消耗。

顶级数据中心应对生成式AI的能源需求

采用生成式AI的公司可能会间接解决能源消耗问题。但训练和运行模型的数据中心面临着日益增长的电力需求，他们扩大对冷却系统的投资验证了这一点。

根据Dell’Oro集团的数据显示，在2024年第二季度，数据中心物理基础设施（DCPI）市场的增长率在五个季度内首次上升。加利福尼亚州市场研究公司The Redwood City表示，这一增长标志着基础设施销售“人工智能增长周期”的开始。

该基础设施包括热管理系统。Dell’Oro集团研究总监Lucas Beran表示，热管理市场在第一季度的个位数增长率后，第二季度恢复到两位数的增长率。Beran补充说，热管理是DCPI供应商积压的“有意义的部分”，他说积压在2024年上半年明显增长。

液体冷却获得发展动力

在热管理中，液体冷却正在聚集势头，作为冷却高密度计算中心的一种方式，这些计算中心需要处理AI工作负载。

Devnani说：“液体冷却在传导热量方面肯定比空气冷却效率高得多。”

他说，液体的热容量比空气高，可以更有效地吸收热量。他补充说，由于生成式AI的功率密度和增强的高性能计算工作负载，液体冷却正变得越来越相关。

Beran指出，在数据中心热管理市场中，液体冷却占比很小，但该方法在2024年上半年的收入增长强劲。他补充说，在2024年下半年和到2025年，液体冷却部署将“显著加速”，他提到AI工作负载和加速计算平台，例如英伟达即将推出的Blackwell GPU。

此外，总部位于英国剑桥的技术和市场研究公司IDTechEx预计到2035年，数据中心液体冷却年收入将超过500亿美元。IDTechEx高级技术分析师Yulin Wang表示，具有越来越高的热设计功率（TDP）数字的芯片需要更高效的热管理系统。TDP是芯片产生的最大热量。

Wang说，该公司已经观察到TDP约为1200瓦的芯片，并表示TDP约为1500瓦的芯片可能会在未来一两年内出现。相比之下，笔记本电脑的CPU的TDP可能为15瓦。

核能用于管理AI能源需求

另一个正在发展的电力战略是为数据中心利用核能，AWS、谷歌和微软正在探索这一方向。例如，今年早些时候，AWS收购了Talen Energy在宾夕法尼亚州的核动力数据中心园区。核能的使用旨在帮助大型数据中心跟上人工智能的能源需求，并实现可持续性目标。与煤炭和天然气等能源相比，核能提供的碳足迹更低。

超大规模企业的能源举措最终可能会提高冷却效率，解决可持续性问题，并控制生成式AI的电力成本。后者的结果可能会继续保护企业免受能源投资回报率的影响。然而，仔细选择生成式AI模型，无论是人类还是人工智能代理，都有助于节能。

Likens表示，普华永道将“碳影响”作为其生成人工智能价值飞轮的一部分，价值飞轮是优先考虑生成式AI部署的框架，该公司在内部和与客户一起使用。

他指出：“这是决策的一部分，碳成本就在那里，所以我们不应该忽视它。”