创建包含2700万行的pandas数据帧

Question

我有一个2700万元组的列表，现在我想从这个元组创建一个数据帧，但问题是，这花费了太多的时间，系统陷入了困境。在

单个元组中的数据是('C0000005', 'RB', 'C0036775', '') 列表是包含appx的tablelist。2700万行，这就是我创建数据帧的方式。在

df_table = pd.DataFrame(tablelist,columns= ['a','b','c','d'])

如何有效地创建数据帧？在

Answer 1

确保你的机器不会互换。在

这是我的时间安排：

In [175]: l = [('C0000005', 'RB', 'C0036775', '')] * 27000000

In [176]: len(l)
Out[176]: 27000000

In [177]: %timeit pd.DataFrame(l, columns=list('abcd'))
1 loop, best of 3: 2.95 s per loop

---

^{pr2}$