Scaling Laws：《Scaling Laws for Neural Language Models》Figure 3 解读

图3 随着可用计算资源的增加，我们可以选择如何分配这些资源来训练更大的模型、使用更大的批次以及进行更多步数的训练。我们以计算量增加十亿倍为例进行说明。为了实现最优的计算效率训练，增加的计算资源大部分应用于扩大模型规模。为避免数据重复使用，所需增加的数据量相对较小。在增加的数据量中，大部分可用于通过增大批次规模来提高并行性，而串行训练时间仅需极小幅度的增加。

聚焦Figure 3这张图本身：它在固定“最优算力效率（compute-efficient / compute-optimal）”的前提下，展示当算力越来越多时，你应该把增长的算力主要分配到哪里——对应三根“旋钮”：

• Model size（模型参数量）
• Batch size（批大小，用于并行）
• Serial steps（串行训练步数，近似训练时间的串行深度）

1) Figure 3 画的是什么