如何从列表中删除重复项，并在每个列表项中添加重复项计数？

Question

我的问题和你的一样

• How to remove case-insensitive duplicates from a list, while maintaining the original list order?

除了我还希望重复项反映项字符串本身中重复项的数量（括号中）。你知道吗

输入示例：

myList = ["paper", "Plastic", "aluminum", "PAPer", "TIN", " paper", "glass", "tin", "PAPER", "Polypropylene Plastic"]

唯一可接受的输出：

myList = ["paper (3)", "Plastic", "aluminum", "TIN (2)", " paper", "glass", "Polypropylene Plastic"]

注意事项：

• 注意，如果一个项目（"Polypropylene Plastic"）恰好包含另一个项目（"Plastic"），我仍然希望保留这两个项目。

• 因此，大小写可能不同，但项目必须是字符对字符匹配，才能将其删除。

• 必须保留原始列表顺序。

• 应删除该项的第一个实例之后的所有重复项。应保留该初审的原始案例，以及所有非重复项目的原始案例。

我正在寻找最快的方法来在python2.7中实现这一点。你知道吗

Answer 1

在最初的问题中，您可能（我只是瞥了一眼）使用了set的大小写折叠字符串来查看您是否有一个新的或一个重复的字符串，并在继续时构建一个新字符串列表。你知道吗

您可以用Counter而不是set替换它。但是你需要建立一个列表，然后返回并用计数编辑它。你知道吗

因此，将set/Counter和输出列表替换为OrderedDict，该列表存储每个大小写折叠项的项计数对：

d = collections.OrderedDict()
for item in myList:
    caseless = item.lower()
    try:
        d[caseless][1] += 1
    except KeyError:
        d[caseless] = [item, 1]

…然后传递该dict以生成输出列表：

myList = []
for item, count in d.values():
    if count > 1:
        item = '{} ({})'.format(item, count)
    myList.append(item)

您可以使它更简洁（例如，myList = ['{} ({})'.format(item, count) if count > 1 else item for item, count in d.values()），这也将使它通过一个小的常量因子更快一些。你知道吗

你可以用%代替format来缩短几纳秒的时间，用%d代替%s可能会缩短更多的时间（尽管我认为最后一部分在2.7之前都不再适用）。你知道吗

根据您的平台，a[0] += 1可能比a[1] += 1快或慢。所以两种方法都试一下，如果a[0]更快，就用[count, item]对代替[item, count]。如果您有大量的dup，您可能需要考虑一个带有__slots__的类，这个类的更新速度实际上比列表快一些，但创建速度要慢得多。你知道吗

另外，使用in测试，或者将d.__contains__存储为本地测试，可能比try快，也可能慢，这取决于您期望的重复次数，所以请在实际数据而不是玩具数据集上尝试这三种方法。你知道吗