petastorm专题

Petastorm库--在pytorch中使用读取parquet格式

Petastorm是一个库,支持使用来自Tensorflow、Pytorch和其他基于python的ML培训框架的拼板存储。 Petastorm是Uber ATG开发的一个开源数据访问库。这个库支持从Apache Parquet格式的数据集直接对单个机器或分布式的深度学习模型进行训练和评估。Petastorm支持流行的基于python的机器学习(ML)框架,如Tensorflow、PyTorch