将python嵌套JSONlike数据转换为datafram

Question

我的记录如下所示，我需要将其写入csv文件：

my_data={"data":[{"id":"xyz","type":"book","attributes":{"doc_type":"article","action":"cut"}}]}

它看起来像json，但是下一条记录以"data"开头，而不是{}，这迫使我分别读取每条记录。然后，我使用eval()将其转换为dict，遍历某个路径的键和值，以获得我需要的值。然后，根据我需要的键生成一个键和值的列表。然后，pd.dataframe()将该列表转换为我知道如何转换为csv的数据帧。我的代码如下。但我相信有更好的方法来做到这一点。我的规模很小。谢谢。在

^{pr2}$

Answer 1

将我的数据更改为：

my_data = [{"id":"xyz","type":"book","attributes":{"doc_type":"article","action":"cut"}}, # Data One
{"id":"xyz2","type":"book","attributes":{"doc_type":"article","action":"cut"}}, # Data Two
{"id":"xyz3","type":"book","attributes":{"doc_type":"article","action":"cut"}}] # Data Three

您可以将其直接转储到数据帧中，如下所示：

^{pr2}$

不清楚您的数据路径是什么，但是如果您正在寻找id、type等的特定组合，则可以显式搜索

def find_my_way(data, pattern):

    # pattern = {'id':'someid', 'type':'sometype'...}
    res = []
    for row in data:
        if row.get('id') == pattern.get('id'):
            res.append(row)
    return row


mydf = pd.DataFrame(find_my_way(mydata, pattern))

编辑：

在不深入了解api如何工作的情况下，在伪代码中，您需要执行以下操作：

my_objects = []
calls = 0
while calls < maximum:

    my_data = call_the_api(params)

    data = my_data.get('data')

    if not data:
        calls+=1
        continue

    # Api calls to single objects usually return a dictionary, to group objects they return lists. This handles both cases
    if isinstance(data, list):
        my_objects = [*data, *my_objects]

    elif isinstance(data, {}):
        my_objects = [{**data}, *my_objects]

# This will unpack the data response into a list that you can then load into a DataFrame with the attributes from the api as the columns

df = pd.DataFrame(my_objects)

假设api中的数据如下所示：

"""
 {
 "links": {},
 "meta": {},
 "data": {
    "type": "FactivaOrganizationsProfile",
    "id": "Goog",
    "attributes": {
      "key_executives": {
        "source_provider": [
          {
            "code": "FACSET",
            "descriptor": "FactSet Research Systems Inc.",
            "primary": true
          }
        ]
      }
    },
    "relationships": {
      "people": {
        "data": {
            "type": "people",
            "id": "39961704"
          }
      }
    }
  },
 "included": {}
 }
 """

根据文档，这就是我使用my_data.get('data')的原因。在

这会让你所有的数据（未过滤的）进入一个数据帧

将DataFrame保存到最后一位，这样对内存更友好一些