在Pandas Datafram中插入dictionary（JSON）

Question

我有一个用例，我需要将dataframe的现有列转换为JSON并只存储在一个列上。在

到目前为止，我试过：

import pandas as pd
import json
df=pd.DataFrame([{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]) #Random data
jsonresult1=df.to_json(orient='records')
# '[{"a":"sjdfb","b":"jsfubs"},{"a":"ouhbsdv","b":"cm osdn"}]'

但我希望数据只是字典的字符串表示，而不是列表。所以我试了一下：

^{pr2}$

这是我想要的数据，但当我试图使它成为一个数据帧时，数据帧的格式又是2列[a，b]。这些dictionary对象的字符串表示将以所需格式将列数据插入到dataframe中。在

>>>for i in range(len(jsonresult2)):
...    jsonresult3.append(str(jsonresult2[i]))
...
>>> jsonresult3
["{'a': 'sjdfb', 'b': 'jsfubs'}", "{'a': 'ouhbsdv', 'b': 'cm osdn'}"]

这正是我想要的。当我把这个推到一个数据帧时，我得到：

 >>> df1
                              0
 ++++++++++++++++++++++++++++++++++++
 0  |   {'a': 'sjdfb', 'b': 'jsfubs'}
 1  |{'a': 'ouhbsdv', 'b': 'cm osdn'}

但我觉得这是一个非常低效的方法。我如何使它看起来和工作在一个优化的方式？我的数据可以超过10万行。这花的时间太长了。在

Answer 1

我先把它改成字典。。。连成一系列。。。然后应用pd.json.dumps

pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

或更短的代码

^{pr2}$

我们可以通过自己构造弦来提高性能

v = df.values.tolist()
c = df.columns.values.tolist()

pd.Series([str(dict(zip(c, row))) for row in v], df.index)

0       {'a': 'sjdfb', 'b': 'jsfubs'}
1    {'a': 'ouhbsdv', 'b': 'cm osdn'}
dtype: object

---

如果内存是个问题，我会将df保存到一个csv中，并逐行读取，同时构建一个新的序列或数据帧。在

df.to_csv('test.csv')

这是比较慢的，但是可以解决一些内存问题。在

s = pd.Series()
with open('test.csv') as f:
    c = f.readline().strip().split(',')[1:]
    for row in f:
        row = row.strip().split(',')
        s.set_value(row[0], str(dict(zip(c, row[1:]))))

---

或者，如果可以将df保留在内存中，则可以跳过文件导出

s = pd.Series()
c = df.columns.values.tolist()
for t in df.itertuples():
    s.set_value(t.Index, str(dict(zip(c, t[1:]))))

Answer 2

l = [{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]

#convert json elements to strings and then load to df.
pd.DataFrame([str(e) for e in l])
Out[949]: 
                                  0
0     {'a': 'sjdfb', 'b': 'jsfubs'}
1  {'a': 'ouhbsdv', 'b': 'cm osdn'}

计时

^{pr2}$