如何用java代码并行读取拼花地板文件

Question

可以并行读取拼花地板文件吗

我使用的是与这里描述的类似的东西（基于AvroParquetReader）：how to read a parquet file, in a standalone java code? 但这是按顺序进行的，而不是并行进行的

干杯

Answer 1

我对拼花文件仍然很熟悉，我发现以Spark数据集的形式打开拼花文件以列出并行流会更快：

// spark dataset to list parallel foreach
String PATH_SCHEMA = "s3a://" + bucket + "/" + key;
Path path = new Path(PATH_SCHEMA);

SparkSession spark = SparkSession.builder().master("local[1]").appName("example.com").getOrCreate();
Dataset<Row> ds = spark.read().parquet(path.toString());
ds.collectAsList().parallelStream().forEach(Class::method);

Answer 2

我找到的唯一方法是有一个执行者池，这个池的每个工作人员都会读一个拼花文件