将PDF转换为文本：删除单词中的断行

Question

对于我的博士项目，我正在做一些语料库准备，主要是清理我的文本文件。我有170本荷兰小说的语料库，其中大部分都是epub格式的，我可以很容易地用Calibre转换成txt格式。在

问题是有些小说是PDF格式的，其中一些行的末尾有分词。当我把这些PDF文件转换成txt文件时，分词仍然存在。例如：

德雷登·范阿勒·贝罗林是尼特·莫伊利克·特雷登。他甚至还说，他是一个很好的人。马尔·特维杰·斯托德 这是一个非常重要的问题- 达格于1939年9月在德泽尔夫德哈尔托恩希吉，学生吉恩·埃斯昆德在波伦贝斯普拉克遇到了芬西夫的贾格诺顿·赫特·佐朱伊斯特·昂特泰德·杜伊茨。在

我想知道是否有一个快速的方法来消除这些断字。没有一个在线工具能做到这一点。我对python有点熟悉，所以可以欢迎使用python的解决方案。也许一个想法是使用正则表达式来删除txt文件行尾的al'-'字符？在

这是我尝试的，使用下面的评论：

import re

with open('pdf_test.txt','r+', encoding='utf-8') as f:
    text = f.read()
    for line in text:
       if line.endswith('-'):
          line = re.sub('-',' ',line)
          f.seek(0)
          f.write(line)
          f.truncate()

但是，这不起作用。。。在

Answer 1

PDFMiner是您的一个选项，并且this is an example从PDF页面提取文本。在

出于您的目的，您必须将第176行改为

' '.join(text_content)

这将删除换行符。在