如何将自定义Java类转换为Spark数据集
我想不出在Spark中将测试对象列表转换为数据集的方法 这是我的班级:
public class Test {
public String a;
public String b;
public Test(String a, String b){
this.a = a;
this.b = b;
}
public List getList(){
List l = new ArrayList();
l.add(this.a);
l.add(this.b);
return l;
}
}
# 1 楼答案
您在注释中创建数据框的代码是正确的。但是,定义
Test
的方式存在问题。您只能使用Java bean中的代码创建数据帧。你的Test
类不是Java Bean。修复后,可以使用以下代码创建数据帧:创建类型化数据集的以下几行代码: