基于TF - Agents的深度Q网络强化学习系统搭建
1. TF - Agents简介
TF - Agents库借助TFPyEnvironment类，既支持纯Python环境，也支持基于TensorFlow的环境。更广泛地说，TF - Agents支持并提供纯Python和基于TensorFlow的组件，如智能体、经验回放缓冲区、指标等。
2. 训练架构
TF - Agents训练程序通常分为两个并行运行的部分：
- 左侧：驱动程序使用收集策略探索环境，选择动作并收集轨迹（即经验），然后将这些轨迹发送给观察者，观察者将其保存到经验回放缓冲区。
- 右侧：智能体从经验回放缓冲区中提取一批轨迹，并训练一些网络，收集策略会使用这些网络。
简单来说，左侧部分探索环境并收集轨迹，右侧部分学习并更新收集策略。
下面是对一些常见问题的解答：
|问题|解答|
|----|----|
|为什么需要多个环境？|为了利用所有CPU核心的计算能力，让训练GPU保持忙碌状态，并为训练算法提供相关性较低的轨迹，通常希望驱动程序并行探索多个环境副本，而不是单个环境。|
|什么是轨迹？|轨迹是从一个时间步到下一个时间步的转换的简洁表示，或者是从时间步n到时间步n + t的连续转换序列。驱动程序收集的轨迹会传递给观察者，观察者将其保存到经验回放缓冲区，后续智能体从中采样并用于训练。|
|为什么需要观察者？驱动程序不能直接保存轨迹吗？|驱动程序可以直接保存轨迹，但这样会使架构缺乏灵活性。例如，如果不想使用经验回放缓冲区，或者想将轨迹用于其他用途（如计算指标），就需要观察者。实际上，观察者是一个以轨迹为
