使用云数据进行高效的 PyTorch 训练

Agent Platform 神经架构搜索没有描述如何设计训练程序的要求。因此，选择任何训练框架均可构建训练程序。

对于使用大量数据的 PyTorch 训练，最佳做法是使用分布式训练范例并从 Cloud Storage 中读取数据。 查看使用 Agent Platform 神经架构搜索进行高效 PyTorch 训练这篇博文 Efficient PyTorch training with Agent Platform Neural Architecture Search，了解如何提高训练 性能。使用 WebDataset 和选择 DistributedDataParallel 或 FullyShardedDataParallel 分布式训练策略时，利用 Cloud Storage 上的数据可实现 6 倍的总体性能提升。使用 Cloud Storage 上的数据的训练性能类似于使用本地磁盘上的数据的训练性能。

预构建的 MNasNet 分类示例已将这些方法整合到其训练流水线中。