我正在尝试使用datastax驱动程序连接pyspark和cassandra
conf = SparkConf()\
.setAppName('Test') \
.setMaster('local[4]') \
.set("spark.cassandra.connection.host", "192.168.0.150")
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
df = sqlContext.read.format("org.apache.spark.sql.cassandra").\
options(table="test", keyspace="test_keyspace").load()
由于某些原因,它一直连接到127.0.0.1:9042,而不是192.168.0.150
^{pr2}$我正在使用spark 2.10并运行以下程序
spark-submit --packages datastax:spark-cassan
dra-connector:2.0.0-RC1-s_2.11 test.py
找出spark2.10cassandra配置中的问题在SqlContext中设置为option。 代码如下工程
相关问题 更多 >
编程相关推荐