Python：如何跳过输入文件中的重复行？

Question

我从一个文件中读取，我想单独读取每一行，因为输出中的第三行必须是前两行的组合。这是一个小例子：

Input:

<www.example.com/apple> <Anything>
<www.example.com/banana> <Anything>

Output:

<www.example.com/apple> <Anything>
<www.example.com/banana> <Anything>
<Apple> <Banana>

如果有任何一行重复出现，或者是一个空行，那么我不想处理它，每次只想得到2行不同的行。你知道吗

这是我真正投入的一部分：

<http://catalog.data.gov/bread> <http://dbpedia.org> 
<http://catalog.data.gov/bread> <http://dbpedia.org>
<http://catalog.data.gov/bread> <http://dbpedia.org> 
<http://catalog.data.gov/bread> <http://dbpedia.org> 

<http://catalog.data.gov/roll> <http://dbpedia.org>
<http://catalog.data.gov/roll> <http://dbpedia.org>

在这种情况下，我希望输出如下：

 <http://catalog.data.gov/bread> <http://dbpedia.org> 
 <http://catalog.data.gov/roll> <http://dbpedia.org>
 <bread> <roll>

这是我的密码：

file = open('rdfs.txt')
for id, line in enumerate(file):
        if id % 2 == 0:
            if line.isspace():
                continue
            line1 = line.split()
            sub_line1, rel_line1 = line1[0], line1[1]
            sub_line1 = sub_line1.lstrip("<").rstrip(">")
            print(sub_line1)

        else:
            if line.isspace():
                continue
            line2 = line.split()
            sub_line2, rel_line2 = line2[0], line2[1]
            sub_line2 = sub_line2.lstrip("<").rstrip(">")
            print(sub_line2)

这是完美的工作，但我得到所有的行，如何添加，如果第二行等于之前的行，然后跳过所有的行，直到你找到一个新的不同的行。你知道吗

我现在得到的结果是：

http://catalog.data.gov/bread
http://catalog.data.gov/bread
http://catalog.data.gov/roll
http://catalog.data.gov/roll

谢谢！！你知道吗

Answer 1

您可以声明一个set()并将其命名为line_seen，它将保存所有可见的行，并检查每一个新行是否在lines_seen中，并将其添加到您的检查中：

您的代码应该如下所示：

file = open('rdfs.txt')
lines_seen = set() # holds lines already seen
for id, line in enumerate(file):
    if line not in lines_seen: # not a duplicate
        lines_seen.add(line)
        if id % 2 == 0:
            if line.isspace():
                continue
            line1 = line.split()
            sub_line1, rel_line1 = line1[0], line1[1]
            sub_line1 = sub_line1.lstrip("<").rstrip(">")
            print(sub_line1)

        else:
            if line.isspace():
                continue
            line2 = line.split()
            sub_line2, rel_line2 = line2[0], line2[1]
            sub_line2 = sub_line2.lstrip("<").rstrip(">")
            print(sub_line2)