近日马萨诸塞大学计算机科学家研究发现,训练单个AI模型所产生的碳排放量几乎是普通美国汽车碳排放量的五倍。这一研究结果强调了在人工智能的所有宣传中忽视的问题:训练新的深度学习模型的过程会消耗相当多的能量。
虽然大多数企业目前没有像谷歌或Facebook等公司那样为人工智能项目使用太多电力,但这个有关人工智能碳足迹的新研究数据应该会促使IT领导者重新考虑深度学习的限制。
麻省大学的研究人员专门研究了训练神经网络模型进行自然语言处理的能量消耗情况。其中更大的能源挑战涉及测试模型的不同类型设置-超过数百或数百万种不同的组合。研究人员发现,与训练原始模型相比,训练AI模型以跨不同域工作的过程通常会使用更多的能耗。此外,在企业业务训练中,例如逻辑、建模和模拟,人工智能中计算和功率的需求同样也出现爆炸式增长。
人工智能碳足迹研究的另一个含义是,很多人工智能应用程序最好应从零开始构建,因为将它们调整为用于其他应用程序会使用更多能耗。尽管新的参数调整工具可以帮助降低能耗,但一些专家质疑深度学习是否适用于很多常见用例。在未来,量子计算可能在减少这类型问题的能耗方面发挥重要作用。
深度学习的限制
人工智能最前沿的人使用着绝大部分的能源。人工智能和机器学习平台Dataiku的首席数据科学家Jed Dougherty说:“我们基本上背负着他们的能源使用和算法创建。”
Dougherty指出,对GPU的依赖导致AI模型开发的潜在低效率。“我们有责任尽可能避免深度学习,不仅仅因为我们根本不知道它在做什么,而且因为它需要消耗大量的GPU。”
虽然深度学习可以为自然语言处理和计算机视觉提供良好的结果,但是从事其他类型应用程序的开发人员应该思考他们为什么要使用深度学习。实际上,很多研究人员正在使用合理的人为设计的业务规则和算法来发现更好的方法。
Dougherty补充说,新的深度学习模型带来大量二氧化碳排放量,这方面的担忧可能会被夸大,并且,这些模型带来的优势可缓解这部分问题。毕竟,更好的基于AI的模型可以通过其他方式实现节能,更不用说为企业带来更多收入。他说,无论如何,人工智能的碳足迹并不是一个问题。大部分Dataiku的客户更关注财务成本而不是环境影响,尽管两者有些联系。
碳监控的需要
身份欺诈、授权和身份验证公司Callsign的产品负责人Stuart Dobbie表示,AI工作负载实质上加剧了IT中现有的不良做法。
Dobbie称:“与人工智能相关的成本和能源问题是IT行业中传统上低效率概念和前景的产物。”
他说,大多数公司过度配置基础设施并且未充分利用计算。这种异常IT环境通常是由IT风险治理策略驱动和/或由合同风险策略导致,这些策略要求50%的过度配置用于灾难恢复和弹性。
Dobbie说,云服务提供商和新监控框架的开发可能会帮助改善这些长期不良做法对能源和环境的影响。例如,云服务供应商应采用最佳数据中心架构设计,以确保技术基础架构的高效运行。这包括数据中心气流、高效冷却、利用可再生能源服务和监控(最重要)。Dobbie还认为,云服务提供商应公布他们的能源消耗和碳足迹,以便用户在选择提供商时将这些指标作为考虑因素。
对于非关键人工智能培训流程,可使用竞价实例,借用未充分利用的计算,而只需支付其他云计算租户的小部分成本,例如,根据政策过度配置,最终未使用的计算。
参数调整和AI碳足迹
为提高AI模型性能,最大挑战之一在于调整神经网络中使用的不同人工神经元的参数或权重。这方面的训练不仅限于人工智能,很多业务问题也需要相同类型的调整,包括优化业务模型和模拟、运营研究、逻辑和编程等。
按示例编程或PBE是一种通过示例训练AI的技术,例如提供与如何构造数据相关的I / O对。所有这些问题都可能导致组合爆炸,其中每个参数都可能增加潜在解决方案的数量,因为数据科学家会测试各种参数组合。
SigOpt公司联合创始人兼首席执行官Scott Clark表示,参数会对模型的性能产生重大影响,从而导致该模型对业务的影响。由于参数调整通常需要评估各种配置,所以它在计算上可能很昂贵。并且,数据中心通常没有运行可持续能源,AI的碳足迹将变得更大。SigOpt公司主要开发软件用于调整深度学习参数。
但并非所有参数调整方法都相同。它们越穷举或越朴素,计算密集程度越高。这种类型的方法(穷举和朴素)会随机地尝试所有可能性,这可能需要大量时间来找到正确的解决方案。参数调整方法越智能且自适应,计算密集度越低。
研究人员和供应商正在设计一种新型AI工具用于参数优化,主要依靠贝叶斯优化算法,而不是朴素随机搜索或穷举网格搜索。贝叶斯优化使用统计和近似组合来搜索最佳参数组合以提高效率。SigOpt研究表明,他们可以将计算时间和功耗降低95%-与随机搜索配置的标准实践相比。
量子计算可能会提供帮助
量子计算机初创公司IonQ Inc.的总裁兼首席执行官Peter Chapman说,量子计算机可能通过一条指令解决很多这些组合爆炸问题。这将产生一种新的机器学习,只需少量输入数据集和最少的训练来学习。
程序员在解决某些问题时,通常只有有限的工具。对于这些问题的某个子集,量子计算机将允许程序员获取当前不能使用的新方法。不过,量子计算机会带来不同的限制,因为它们并不适用于所有典型的计算问题,但是对于它们擅长的问题,它们将解锁新的方法来处理现在在经典计算机上运行太昂贵的事情。Chapman预计量子计算机将很快进入商业市场,以帮助解决现实世界中的业务问题。
但并非所有的IT主管都相信量子计算会减少人工智能的碳足迹。Dataiku的Dougherty打趣道:“人们希望量子计算将会出现,并希望帮助解决当前问题,这就像期望核聚变反应堆帮助缓解气候变化。这也许可以实现,但硬件远没有做好准备,我们最好是专注于改善我们已经知道和使用的东西。”
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
如何成功运行IT试点项目
正确的软件可以帮助公司获得竞争优势,但错误的软件可能会增加关键流程的复杂性和失败率。这意味着,测试潜在软件在企 […]
-
AI能源使用增加,技术工作负载限制IT
能源的可用性和成本正在成为技术使用的制约因素,随着企业AI应用程序增加计算需求,IT经理必须计划解决这一问题。 […]
-
减少关键技术债务的策略
现在的IT领导者、项目经理和软件开发领导者必须优先考虑预防技术债务。 技术债务会带来深远的负面影响。出于速度或 […]
-
生成式AI能耗增加,但尚不清楚投资回报率
在为生成式AI构建商业案例时,IT领导者需要考虑很多成本考虑因素,有些显而易见,有些则是隐藏成本。 其中最明显 […]