用pysp从对象JSON的嵌套数组访问keyof对象

Question

我有一个名为类.json并且要计算出所有有条件的数据。你知道吗

你知道吗类.json你知道吗

{
  "class": [
    {
      "class_id": "1",
      "data": {
        "lesson3": {
          "id": 3,
          "schedule": [
            {
              "schedule_id": "1",
              "schedule_date": "2017-07-11",
              "lesson_price": "USD 25",
              "status": "ONGOING"
            },
            {
              "schedule_id": "2",
              "schedule_date": "2016-09-24",
              "lesson_price": "USD 15",
              "status": "OPEN REGISTRATION"
            }
          ]
        },
        "lesson4": {
          "id": 4,
          "schedule": [
            {
              "schedule_id": "1",
              "schedule_date": "2016-12-17",
              "lesson_price": "USD 19",
              "status": "ONGOING"
            },
            {
              "schedule_id": "2",
              "schedule_date": "2015-11-12",
              "lesson_price": "USD 29",
              "status": "ONGOING"
            },
            {
              "schedule_id": "3",
              "schedule_date": "2015-11-10",
              "lesson_price": "USD 14",
              "status": "ON SCHEDULE"
            }
          ]
        }
      }
    },
    {
      "class_id": "2",
      "data": {
        "lesson1": {
          "id": 1,
          "schedule": [
            {
              "schedule_id": "1",
              "schedule_date": "2017-05-21",
              "lesson_price": "USD 50",
              "status": "CANCELLED"
            }
          ]
        },
        "lesson2": {
          "id": 2,
          "schedule": [
            {
              "schedule_id": "1",
              "schedule_date": "2017-06-04",
              "lesson_price": "USD10",
              "status": "FINISHED"
            },
            {
              "schedule_id": "5",
              "schedule_date": "2018-03-01",
              "lesson_price": "USD12",
              "status": "CLOSED"
            }
          ]
        }
      }
    }
  ]
}

我试过了

df = spark.read.json("class.json", multiLine=True)
df.show()

其显示：

+--------------------+
|               class|
+--------------------+
|[[1, [,, [3, [[US...|
+--------------------+

那么我试过这个数组 try = df.select("class").map(lambda s: s['data'])

但出现了错误AttributeError: 'DataFrame' object has no attribute 'map'

或者做df['class'][0]['data']得到Column<b'class[0][data]'>

目标：

• 统计状态为“进行中”且计划日期早于2017-01的计划
• 2017-01年前课程平均价格

如何使用Pypark？你知道吗