java Spark与ElasticSearch的集成
我试图通过spark接收数据并将其推送到ElasticSearch
我已经按照基本教程从Oracle中摄取,通过Spark将其放入内存,并将其推送到ElasticSearch
当我试图调用JavaEsSparkSQL.saveToEs(jdbcDF, "spark/test")
时。jdbcDF是从Oracle加载的数据集。我正在简化从Oracle数据库读取的内容,并调用saveToEs
我得到以下错误:
java.lang.NoClassDefFoundError: org/elasticsearch/spark/sql/api/java/JavaEsSparkSQL
我读到这可能是因为不同版本的spark,因为Hadoop库使用的是单独的驱动程序? 以下是我的家属:
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch-hadoop</artifactId>
<version>7.3.2</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.3</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>2.4.3</version>
</dependency>
共 (0) 个答案