根据created at值在列表中排序tweet

Question

我有一个文本文件（大约600MB），其中包含使用searchapi收集的json格式的tweets。我想根据tweets中的“created_at”值对tweet进行排序，并将它们写入一个新文件中。我使用了以下代码：

oldlist=[]
newlist=[]
with open('abc.txt') as f:
    for each in f:
        oldlist.append(json.loads(each))
newlist=(sorted(oldlist,key=lambda k: k['created_at'])).

我可以使用“>gt；”将输出重定向到文本文件。在

我已经在一个更小的文件（100MB）上尝试过，即使这样做也需要很长时间。有更好的方法吗？在

Answer 1

你来这里是关于合并排序的吗？你可以把你的文件分成几个小文件，对每个文件进行排序，然后用合并排序原则将它们合并在一起。在

好吧，如果每个人都坚持要记住，我可以建议你用熊猫来做

import pandas as pd
df = pd.read_json('abc.txt')
df.sort(by='created_at')