本文主要是介绍Petastorm库--在pytorch中使用读取parquet格式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Petastorm是一个库,支持使用来自Tensorflow、Pytorch和其他基于python的ML培训框架的拼板存储。
Petastorm是Uber ATG开发的一个开源数据访问库。这个库支持从Apache Parquet格式的数据集直接对单个机器或分布式的深度学习模型进行训练和评估。Petastorm支持流行的基于python的机器学习(ML)框架,如Tensorflow、PyTorch和PySpark。它也可以从纯Python代码中使用。
- https://github.com/uber/petastorm#pytorch-api
这篇关于Petastorm库--在pytorch中使用读取parquet格式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!