2025-06-19 07:15来源:本站
服务器农场用于训练AIS 汤米·李·沃克(Tommy Lee Walker)/盖蒂(Getty)ntext="Article" data-image-id="2205783" data-caption="Server farms are used to train AIs" data-credit="Tommy Lee Walker/Getty" />
培训人工智能是一个能源密集型过程。新的估计表明,训练单个AI的碳足迹高达284吨二氧化碳等效,是普通汽车的寿命排放量的五倍。
美国和同事的马萨诸塞州阿默斯特大学阿默斯特大学的艾玛·斯特鲁贝尔(Emma Strubell)评估了培训四个大型神经网络所需的能量消耗,这是一种用于处理语言的AI。
语言处理AIS的基础是Google翻译的算法以及OpenAI的GPT-2文本生成器,当给出几行文本时,它可以令人信服地伪造新闻文章。
这些AI是通过深度学习培训的,涉及处理大量数据。Strubell说:“为了学习像语言一样复杂的东西,模型必须很大。”
一种共同的方法涉及提供数十亿本书的书面文章,以便学会了解单词的含义以及句子的构造方式。
为了衡量这种方法的环境影响,研究人员每天都培训了四个不同的AIS,Elmo,Bert和GPT-2,并进行了一天,并在整个过程中取样了能源消耗。
他们通过将该数字乘以每个模型的原始开发人员报告的总培训时间来计算训练每个AI所需的总功率。然后根据美国发电中使用的平均碳排放估算碳足迹。
一个称为神经体系结构搜索(NAS)的过程涉及通过反复试验和错误自动化神经网络的设计 - 特别耗能且耗时。没有NAS的训练变压器需要84小时,但需要超过270,000小时,需要能量量的3000倍。这种培训被分成数十个芯片,需要几个月的时间才能完成。
Strubell说,它的效率低下源于对非常具体的任务进行微调模型的需要,例如从一种语言转换为另一种语言。
亚马逊和Google等大型科技公司提供基于云的平台,研究人员可以为远程培训AIS付费。为了更准确地了解相关的碳足迹,分析必须考虑这些公司使用的实际能源组合。
Strubell说,亚马逊的能源与美国各地的分解相媲美。但是,随着公司投资风和太阳能农场的投资,这可能会发生变化,并且根据其网站的说法,去年由50%以上的可再生能源提供支持。亚马逊拒绝对这项研究发表评论。
同样,Google与可再生能源供应商达成了长期协议,这减少了与数据中心处理的AI培训相关的碳排放。
布里斯托尔大学的克里斯·普雷斯特(Chris Preist)说:“从能源的角度来看,从碳降低的角度来看,我们应该考虑设计服务并确保算法有效。”
该研究将于7月在意大利佛罗伦萨的计算机语言学协会年会上介绍。