我有一个json对象,它不幸地结合了嵌套和数组。因此,如何使用spark sql查询它并不十分明显。
下面是一个示例对象:
{
stuff: [
{a:1,b:2,c:3}
]
}
所以,在javascript中,为了获得c
的值,我将编写myData.stuff[0].c
在我的spark sql查询中,如果数组不存在,我就可以使用点表示法:
SELECT stuff.c FROM blah
但我不能,因为最里面的对象是用数组包装的。
我试过:
SELECT stuff.0.c FROM blah // FAIL
SELECT stuff.[0].c FROM blah // FAIL
那么,选择这些数据的神奇方法是什么?或者说这是不是已经得到了支持?
不清楚您所说的JSON object是什么意思,所以让我们考虑两种不同的情况:
结构数组
一系列地图
另见Querying Spark SQL DataFrame with complex types
相关问题 更多 >
编程相关推荐