将任意嵌套字典转换为列表的列表

Question

我正在尝试把一个嵌套的字典数据结构转换成一个扁平化的列表，结果却一直没找到好的解决办法。这里是我开始时的数据，以及我想要生成的输出。我想做的是写一个叫 flatten 的函数，这个函数可以处理任意深度的嵌套数据。

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

output_array_1 = flatten(input_dict_1)

# output_array_1 = [["gender", "age", "average_height", "average_weight"],
#                   ["male", "adult", 62, 200],
#                   ["male", "youth", 50, 120],
#                   ["female", "adult", 55, 130],
#                   ["female", "youth", 45, 80],
#                   ["female", "infant", 15, 35]]

input_dict_2 = {"data": [
    {"animal": "bunny",
     "data": [
         {"color": "white",
          "data": [
              {"age": "adult",
               "data": {"speed": 30, "teeth": 24}},
              {"age": "youth",
               "data": {"speed": 20, "teeth": 24}}]}]},
    {"animal": "horse",
     "data": [
         {"color": "brown",
          "data": [
              {"age": "adult",
               "data": {"speed": 120, "teeth": 6}}]}]}]}

output_array_2 = flatten(input_dict_2)

# output_array_1 = [["animal", "color", "age", "speed", "teeth"],
#                   ["bunny", "white", "adult", 30, 24],
#                   ["bunny", "white", "youth", 20, 24],
#                   ["horse", "brown", "adult", 120, 6]]

如果你事先知道这个结构有多少层级，那其实不算太难，但我现在卡在怎么写一个可以处理任意嵌套数据的单一函数上。

输入数据总是会遵循几个条件：

1. 在同一个输入数据结构中，层级的数量总是相同的。比如，在一个更长的 input_dict_1 示例中，不会出现性别和年龄之外的第三个分组层级。
2. 在每一层中，下一个子组是一个名为 data 的键对应的值。

这个问题肯定有一个优雅且符合 Python 风格的解决方案。有没有什么想法呢？

（这里的背景是，我正在尝试把从 API 接收到的 JSON 转换成 CSV 文件，但这是唯一比较难的部分。另外，我知道在 StackOverflow 上已经有很多关于字典转列表的问题，但我找不到一个使用类似输入/输出结构的例子。）

Answer 1

这个问题的关键在于递归，递归可以帮助我们解决问题。首先，我们可以写一个函数，从你的输入中提取出需要的列名。

input_dict_1 = {"data": [
    {"gender": "male",
     "data": [
         {"age": "adult",
          "data": {"average_height": 62, "average_weight": 200}},
         {"age": "youth",
          "data": {"average_height": 50, "average_weight": 120}}]},
    {"gender": "female",
     "data": [
         {"age": "adult",
          "data": {"average_height": 55, "average_weight": 130}},
         {"age": "youth",
          "data": {"average_height": 45, "average_weight": 80}},
         {"age": "infant",
          "data": {"average_height": 15, "average_weight": 35}}]}]}

def get_col_names( d, l=None ):
    if l==None: l=[]
    if isinstance(d['data'], list):
        l.extend( k for k in d['data'][0].keys() if k != 'data' )
        get_col_names( d['data'][0], l )
    else:
        l.extend( d['data'].keys() )
    return l

上面的例子只是为了让你开始思考递归。我们可以在一个函数中获取列名，并访问我们想要的所有键值对。

def walk_dict( d, e=None, l=None, cn=None ):
    if e==None: e={}
    if l==None: l=[]
    if cn==None: cn=[]
    for k,v in d.items():
        if k != 'data':
            if k not in cn: cn.append(k)
            e[k] = v
    if isinstance(d['data'], list):
        for dp in d['data']:
            walk_dict( dp, e, l, cn )
    else:
        for k,v in d['data'].items():
            if k not in cn: cn.append(k)
            e[k] = v
        l.append( e.copy() )
    return l, cn

在上面的函数中，e代表当前正在处理的行，l是到目前为止解析的所有行的列表，而cn是列名的列表。最后，我们需要一些代码来构建你想要的列表的列表。

rows, col_names = walk_dict( input_dict_1 )
output_array_1 = [col_names]
for d in rows:
    output_array_1.append( [d[name] for name in col_names] )

那么这里到底发生了什么呢？e用来跟踪当前行的键和值。这意味着它在这个输入中只会有4个键值对。我们希望在处理"age":"adult"和"age":"youth"时，"gender":"male"能够保持不变。这正好适合用字典来处理。最开始，每一行的条目是无序的。一旦构建了col_names，我们就可以按照我们喜欢的顺序提取每一行的条目。

为什么我们使用e.copy()而不是直接用e呢？这涉及到Python中的一个很容易让人困惑的地方。如果你只是把e添加到列表中，你得到的只是对e对象的引用。如果你改变了e，那么列表中的引用也会指向改变后的e。这样一来，所有行都会变成最后一行的键值对。但是通过使用e.copy()，我们告诉Python创建一个新对象并将其添加到列表中。这样，我们就可以更新e而不影响列表中已经存在的内容。

col_names的顺序将根据输入字典的嵌套结构来排列，除了最后的字典键（比如average_height和average_weight），因为字典键的访问顺序是任意的。