对于python中的大型数据集，什么是最快的性能元组？

Question

现在，我基本上正在运行一个excel表格。在

我有大约20个名字，然后我有50k个总值，与这20个名字中的一个匹配，所以excel表格有50k行长，B列显示任意随机值，A列显示20个名称中的一个。在

我试图为每个显示所有值的名称获取一个字符串。在

Name A: 123,244,123,523,123,5523,12505,142... etc etc. 
Name B: 123,244,123,523,123,5523,12505,142... etc etc. 

现在，我创建了一个在excel表中运行的字典，检查字典中的名称是否都准备好了，如果是，那么它将执行一个

^{pr2}$

然后它将strA重新插入到字典中该特定名称。如果名称不存在，它将创建字典键，然后将该值添加到它。在

现在，一开始还不错。。但这已经有15或20分钟了，到目前为止，它只增加了5k的值，随着时间的推移，它似乎变得越来越慢，而且它一直在运行。在

我想知道有没有更好的方法或者更快的方法。我在考虑每1k值建立一个新的字典，然后在最后将它们组合在一起。。但总共有50本字典，听起来很复杂。。虽然可能不是。。我不确定，也许那样会更好，这似乎不管用。在

我需要一个字符串来显示每个值，每个值之间有一个逗号。这就是为什么我现在在做弦的事情。在

Answer 1

这个答案是基于OP对我的评论的回答。我问他会用dict做什么，暗示也许他一开始就不需要构建它。@西蒙回答：

i add it to an excel sheet, so I take the KEY, which is the name, and put it in A1, then I take the VALUE, which is 1345,345,135,346,3451,35.. etc etc, and put that into A2. then I do the rest of my programming with that information...... but i need those values seperated by commas and acessible inside that excel sheet like that!

所以看起来dict根本不需要构建。这里有一个替代方法：为每个名称创建一个文件，并将这些文件存储在^{中：

files = {}
name = 'John'  # let's say
if name not in files:
    files[name] = open(name, 'w')

然后，当您在50k行的excel上循环时，您可以执行如下操作（伪代码）：

^{pr2}$

由于您的value_string已经用逗号分隔，所以您的文件将是csv格式的，而不会对您的部分进行任何进一步的调整（除了您可能希望在完成后去掉最后一个逗号）。然后当您需要John的值时，只需value = open('John').read()。在

现在我从未使用过50k row excels，但是如果这不是比您现在的速度快一点，我会非常惊讶的。拥有持久性数据也是一个优点。在

---

编辑：

以上是一个面向内存的解决方案。写入文件比追加到列表慢得多（但可能比重新创建许多大字符串还要快）。但是如果列表很大（这看起来很可能），并且您遇到内存问题（不是说您会），您可以尝试使用文件方法。在

另一种方法，类似于性能列表（至少对于我尝试过的玩具测试）是使用StringIO：

from io import StringIO  # python 2: import StringIO import StringIO

string_ios = {'John': StringIO()}  # a dict to store StringIO objects
for value in ['ab', 'cd', 'ef']:
    string_ios['John'].write(value + ',')
print(string_ios['John'].getvalue())

这将输出'ab,cd,ef,'