Spark/Java:GSON依赖项中的NoClassDefFoundError

4 周，1 日 Questions & Answers 2271

我有一个使用JAR文件的小Spark项目，我正在用Maven打包它

我使用GSON处理JSON文件，我特别需要JsonReader类

我添加了GSON依赖项，当我将其作为标准Java项目运行时，它运行良好。然而，当我打包并在Spark中运行它时，它会抱怨：

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/gson/stream/JsonReader

这是一句有问题的话：

reader = new JsonReader(new InputStreamReader(new FileInputStream(
                jsonfile)));

我确实导入了它：

import com.google.gson.*;
import com.google.gson.stream.JsonReader;

这是我的POM文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>SWETesting</groupId>
  <artifactId>SWETesting</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
    <sourceDirectory>src</sourceDirectory>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source/>
          <target/>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.8.1</version>
    </dependency>
    <dependency>
        <groupId>com.google.code.gson</groupId>
        <artifactId>gson</artifactId>
        <version>2.3.1</version>
    </dependency>
  </dependencies>
</project>

我甚至在我的发行版中安装了libgoogle gson，但这没有帮助

这里有什么问题

编辑：在使用Maven构建作业后，我将以独立模式提交作业：

mvn package
/home/chris/Tools/spark-1.2.1/bin/spark-submit --class PlagiarismCheck --master local[6] target/SWETesting-0.0.1-SNAPSHOT.jar > output.txt

Python中文网

有 Java 编程相关的问题?

Spark/Java:GSON依赖项中的NoClassDefFoundError

共 (1) 个答案

# 1 楼答案