寻求更高效的方式在Python中重组大型CSV
我最近在处理一个问题，手头有一个很大的输出 .txt 文件，现在需要把里面的一些数据整理成 .csv 格式。
我已经写了一个脚本，把所有数据按照不同类型（比如航班ID、纬度、经度等）输入到 .csv 文件的不同列里，但顺序不对。所有的数据应该根据相同的航班ID分组，并且从最早的时间到最新的时间排列。幸运的是，我的 .csv 文件里的所有值时间顺序是正确的，但没有按照航班ID适当地分组。
为了让我的描述更清楚，现在的样子是这样的：
（“时间x”只是为了说明）：
20110117559515, , , , , , , , ,2446,6720,370,42 (Time 0)
20110117559572, , , , , , , , ,2390,6274,410,54 (Time 0)
20110117559574, , , , , , , , ,2391,6284,390,54 (Time 0)
20110117559587, , , , , , , , ,2385,6273,390,54 (Time 0)
20110117559588, , , , , , , , ,2816,6847,250,32 (Time 0)
...
而应该是这样排列的：
20110117559515, , , , , , , , ,2446,6720,370,42 (Time 0)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 1)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 2)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 3)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time N)
20110117559572, , , , , , , , ,2390,6274,410,54 (Time 0)
20110117559572, , , , , , , , ,23xx,62xx,4xx,54 (Time 1)
... and so on
我输出的 .csv 文件有130万行，为了方便处理。我99%确定我写的下一个脚本逻辑是对的，但我担心它效率极低。我最后加了一个进度条来看看是否在进展，但不幸的是，我看到的是这个：
这是我处理数据的代码（如果你想，可以直接跳到问题区域）：
## a class I wrote to handle the huge .csv's ##
from BIGASSCSVParser import BIGASSCSVParser
import collections
x = open('newtrajectory.csv') #file to be reordered
linetlist = []
tidict = {}
'' To save braincells I stored all the required values
of each line into a dictionary of tuples.
Index: Tuple ''
for line in x:
y = line.replace(',',' ')
y = y.split()
tup = (y[0],y[1],y[2],y[3],y[4])
linetlist.append(tup)
for k,v in enumerate(linetlist):
tidict[k] = v
x.close()
trj = BIGASSCSVParser('newtrajectory.csv')
uniquelFIDs = []
z = trj.column(0) # List of out of order Flight ID's
for i in z: # like in the example above
if i in uniquelFIDs:
continue
else:
uniquelFIDs.append(i) # Create list of unique FID's to refer to later
queue = []
p = collections.OrderedDict()
for k,v in enumerate(trj.column(0)):
p[k] = v
到目前为止都还好，但在接下来的这段代码里，我的电脑要么卡住，要么我的代码效率太低：
for k in uniquelFIDs:
list = [i for i, x in p.items() if x == k]
queue.extend(list)
我的想法是，对于每一个独特的值，按顺序遍历这130万条数据，返回每次出现的索引，并把这些值添加到一个列表中。之后我只是打算从那个大列表中读取索引，把对应行的数据写入另一个 .csv 文件。就这样！可能效率极低。
这里有什么问题呢？有没有更高效的方法来解决这个问题？我的代码有缺陷，还是我在折磨我的笔记本电脑？
更新：
我发现处理这些数据需要9到10个小时。我有一半的数据在4.5小时内正确输出。现在我可以接受一个过夜的处理，但下次可能会考虑使用数据库或其他语言。如果我提前知道会这样，我肯定会这么做，哈哈。
在调整了我的SSD的休眠设置后，处理时间缩短到了3小时。
2 个回答
你可以试试UNIX系统里的sort工具：
sort -n -s -t, -k1,1 infile.csv > outfile.csv
-t用来设置分隔符，-k用来指定排序的关键字。-s可以让排序结果更稳定，而-n则是用数字来比较大小。
如果你的CSV文件大小可以放进内存里（比如小于2GB），那么你可以直接把整个文件读进来，然后对它进行一个sort操作：
data = list(csv.reader(fn))
data.sort(key=lambda line:line[0])
csv.writer(outfn).writerows(data)
这样做应该不会花太多时间，只要你不让电脑忙得不可开交。需要注意的是，.sort是一个稳定排序，这意味着当有相同的关键字时，它会保持文件中原本的时间顺序。
如果文件太大，放不进内存，你可能需要用点小聪明。比如，你可以记录下每一行的文件偏移量，以及这一行中需要的信息（比如时间戳和航班ID），然后根据这些信息进行排序，最后用偏移量信息来写出输出文件。