使用pyspark load读取d时出错

Question

我尝试使用Pyspark加载一个文件，如下所示

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('mylogreg').getOrCreate()

from pyspark.ml.classification import LogisticRegression

my_data = spark.read.format('libsvm').load('cars.csv')

但它总是给我以下错误：

^{pr2}$

我可以使用普通的RDD而不是使用SQLContext，但是我不能很好地在表中查看数据。在

Answer 1

我认为你应该以.csv格式加载

my_data = spark.read.option("delimiter", ",").option("header", "false").csv('cars.csv')