快速发展着的人工智能技术，正在全球范畴之内引发新一轮科技革命，从自然语言处理到计算机视觉，从自动驾驶至药物研发，各类AI应用的落地都离不开一个核心基础设施，那就是AI算力，算力也就是计算能力，已然成为驱动人工智能发展的关键生产要素；其重要性能够与工业时代的电力相提并论。
AI算力主要是指，支撑人工智能模型训练与推理服务所需要的计算资源。按照计算任务的差异，AI算力通常被划分成训练算力与推理算力这两大类。训练算力旨在从海量数据里学习规律、优化模型参数，此过程需要极高的计算密度以及持续数天乃至数月的稳定运行。以GPT-3这类大型语言模型作为例子，其训练过程消耗的计算量经估算可达3640 -day（也就是每秒进行千万亿次浮点运算，连续运行一天的计算总量）。推理算力所指的是，模型在完成部署了以后的那个状态下去处理实际任务之时所产生的计算方面的需求，像回答用户所提的问题，又抑或是生成图像，再或者是对视频流展开分析这样的情况。推理的任务对于延迟是更加非常敏感的，一般而言是要求响应的时间处于数百毫秒以内的这么一个状况。
常用于衡量 AI 算力的单位是 FLOPS，也就是每秒浮点运算次数。因计算需求不断增长，单位从早期的 ，即十亿次，以及 ，也就是万亿次，发展到了如今的 ，即千万亿次，甚至还有 ，即百亿亿次。目前顶尖的 AI 训练集群算力已突破百 级别。比如说，一些公开披露的专为 AI 设计的超级计算机系统，其理论峰值算力可以达到 180 以上。
将如此庞大算力加以支撑的硬件基础，主要是图形处理器，也就是GPU，以及其专用变体。GPU由于其并行计算架构，在对矩阵运算等AI核心计算任务予以处理时，效率要远远高于传统中央处理器，即CPU。拿 H100 Core GPU来说，其针对AI训练的FP8张量核心峰值算力大概是1979 。除此之外，像谷歌那种用于 的處理装置 TPU 屬於專用積體電路 ASIC，還有各類神經網絡處理模塊 NPU，在特定情境之下也能供給高效能運算。這些不同類型的計算部件一同構成了現代人工智能算力庫的主要部分。
从基础设施的构建模式去看，AI算力的供给主要分成自建集群、租赁托管与公有云服务这三种路径，自建方案要求企业一次性投入巨额资本用来购置硬件，建设周期常常长达数月，依据行业调研，一套中等规模的训练集群，单单硬件采购成本就有可能超过200万元人民币，这还不涵盖数据中心场地、电力、冷却以及持续的运维人力成本，运维一支专业的AI基础设施团队，年度。此外，因业务负载有着波动情况，自建资源的平均利用率大概仅仅是30%直至40%，闲置成本相当显著。
云服务模式以及租赁，给出了颇为灵活的选项，用户能够依照实际需求。以小时、以秒，甚至依据实际所使用的计算资源量去付费。市场里常见的GPU租赁服务，像基于RTX 4090的实例，按需使用的起步价格大概是每小时2.3元人民币。对于临时性的训练任务，或者波动剧烈的推理业务而言，这种模式能够防止前期重资产投入以及资源闲置浪费。一些服务商借助整合全球分布的算力节点，打造了规模可观的资源池。按照公开的资料来看，有一些平台的异构算力总体规模已经超出了 2000 ，并且配备了达到 级别的存储以及 级的网络带宽，借助智能调度达成资源的全局优化。
于选择算力方案之际，成本效益属于核心考量要点，针对某持续开展AI推理服务的中型企业而言，要是采用自建那套方案，月度总成本涵盖设备折旧费、电费以及运维费用等，极有可能超出2万块钱。然而选用按需付费的云服务，当业务负载处于适中状态时，月度成本会被控制在1600元至7000元这个区间范围之内，具体的数值取决于所挑选的实例类型以及使用时长。也就是无服务器架构，更是把弹性发挥到了极致程度，能够达成秒级别的自动扩缩容，从理论层面来讲会将闲置成本降低为零。
然而，要以高效的方式去利用AI算力，目前仍然面对着许多技术方面的挑战，处于相对困难之境。首当其冲的是，怎样才能够把规模巨大无比的计算任务，十分有效地拆分开来，并精准地调度到数目成千上万的加速卡之上，这其中是涉及非常复杂的并行计算框架以及需要进行通信优化的。其次，内存墙方面的问题变得越来越突出显著，模型参数量的增长速率远远超过了显存容量的提升速度指标，这促使研究者不得不想进办法开发出诸如模型并行的技术、流水线并行的技术、零冗余优化器（ZeRO）等一系列的内存优化技术手段。最后，能耗方面的问题也是绝对不能忽视的，大型AI计算中心所产生的功耗能够达到兆瓦级别的程度，这一情况推动着液冷等具备高效散热功能的技术以及绿色能源在实际中的应用。
呈现出几个清晰趋势的是AI算力发展，其一，算力硬件持续迭代，追求着更高的能效比以及更专用的计算单元，其二，软件栈与硬件协同进行优化，借助编译器、算子库以及运行时系统的深度优化，充分释放硬件潜力，其三，算力网络化且普惠化，经由低延迟网络把分散的算力中心连接成网，让算力如同电力那般易于接入且使用，其四，绿色算力受到重视，降低单位计算任务的碳排放成为行业共识。
人工智能时代的基石是AI算力，对于任何涉足AI领域的企业、研究机构以及政策制定者而言，理解其内涵、形态、供给模式以及发展趋势是至关重要的，在可预见的未来，人工智能技术创新的深度与广度将继续被算力的规模、可获得性以及使用效率直接决定。
