67、大规模训练与部署深度学习模型的实用指南

大规模训练与部署深度学习模型的实用指南

1. 数据并行与集中参数策略

若想尝试使用带有集中参数的数据并行方法，可将MirroredStrategy替换为CentralStorageStrategy：

distribution = tf.distribute.experimental.CentralStorageStrategy()

你可以选择性地设置compute_devices参数，以指定作为工作节点的设备列表（默认会使用所有可用的 GPU）；还可以选择性地设置parameter_device参数，以指定存储参数的设备（默认使用 CPU，若只有一个 GPU 则使用该 GPU）。

2. TensorFlow 集群训练模型

TensorFlow 集群是一组并行运行的 TensorFlow 进程，通常分布在不同机器上，它们相互通信以完成特定工作，例如训练或执行神经网络。集群中的每个 TF 进程称为一个任务（task）或 TF 服务器（TF server），它有 IP 地址、端口和类型（也称为角色或作业）。类型可以是 “worker”、”chief”、”ps”（参数服务器）或 “evaluator”：
-worker：执行计算任务，通常在配备一个或多个 GPU 的机器上运行。
-chief：同样执行计算任务（本质也是一个 wor