"在PySp中读取文本文件时是否有控制分区数量的方法"

2024-04-29 23:12:35 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用PySpark中的以下命令读取文本文件

rating_data_raw = sc.textFile("/<path_to_csv_file>.csv")

是否有方法指定RDD分级数据原始应拆分到的分区数?我想为更大的并发性指定大量的分区。


Tags: csvtopath方法命令datarawpyspark