petastorm 0.7.6

内容

• petastorm（petastorm）id="id2" rel="nofollow">petastorm（petastorm）
  • 安装
  • 生成数据集
  • 普通python api
  • tensorflow api
  • pytorch api
  • pyspark和sql
  • 非Petastorm拼花店
  • 故障排除
  • 出版物
• 如何贡献

安装

pip install petastorm

有几个由 petastorm 包定义的额外依赖项没有自动安装。 额外费用包括： tf ， tf_gpu ， torch ， opencv ， docs ， test

例如，要触发tensorflow和opencv的gpu版本的安装，请使用以下pip命令：

pip install petastorm[opencv,tf_gpu]

生成数据集

使用petastorm创建的数据集以apache parquet格式存储。 在拼花模式之上，petastorm还存储更高级别的模式信息，使多维数组成为petastorm数据集的本机部分。

petastorm支持可扩展的数据编解码器。用户可以使用其中一种标准数据压缩（jpeg、png）或实现自己的压缩。

使用pyspark生成数据集。 Pyspark本机支持拼花格式，使其易于在单机或spark计算集群上运行。 下面是一个简单的例子，用一些随机数据写出一个表格。

HelloWorldSchema=Unischema('HelloWorldSchema',[UnischemaField('id',np.int32,(),ScalarCodec(IntegerType()),False),UnischemaField('image1',np.uint8,(128,256,3),CompressedImageCodec('png'),False),UnischemaField('other_data',np.uint8,(None,128,30,None),NdarrayCodec(),False),])defrow_generator(x):"""Returns a single entry in the generated dataset. Return a bunch of random values as an example."""return{'id':x,'image1':np.random.randint(0,255,dtype=np.uint8,size=(128,256,3)),'other_data':np.random.randint(0,255,dtype=np.uint8,size=(4,128,30,3))}defgenerate_hello_world_dataset(output_url='file:///tmp/hello_world_dataset'):rows_count=10rowgroup_size_mb=256spark=SparkSession.builder.config('spark.driver.memory','2g').master('local[2]').getOrCreate()sc=spark.sparkContext# Wrap dataset materialization portion. Will take care of setting up spark environment variables as# well as save petastorm specific metadatawithmaterialize_dataset(spark,output_url,HelloWorldSchema,rowgroup_size_mb):rows_rdd=sc.parallelize(range(rows_count))\
           .map(row_generator)\
           .map(lambdax:dict_to_spark_row(HelloWorldSchema,x))spark.createDataFrame(rows_rdd,HelloWorldSchema.as_spark_schema()) \
           .coalesce(10) \
           .write \
           .mode('overwrite') \
           .parquet(output_url)

• helloworldschema是unischema对象的一个实例。 Unischema能够将其字段的类型呈现为不同的 特定于框架的格式，例如：spark structtype ，tensorflow tf.dtype 和numpy numpy.dtype
• 要定义数据集字段，需要指定一个 类型 ， 形状 ，一个 编解码器 实例以及该字段对于 Unischema公司
• 我们使用pyspark来编写输出拼花文件。在本例中，我们启动 本地盒上的pyspark（ .master（'local[2]'） ）。当然是更大的 缩放数据集生成我们需要一个真正的计算集群。
• 我们用 物化数据集包装spark数据集生成代码 上下文管理器。上下文管理器负责配置行 开始时分组大小，并在 结束，
• 行生成代码应返回由 字段名。为此，我们使用 行生成器 函数。
• dict_to_spark_row 将字典转换为 pyspark.row 对象，同时确保模式符合性（shape， 测试类型和为空条件。
• 一旦我们有了一个 pyspark.dataframe 存储。拼花模式自动从 HelloWorldSchema