Python如何读取PDF文档(或TXT)

如何读取PDF文档(或TXT)

字符串在Python内部的表示是Unicode编码，首先我们来认识Python中encode()和decode()的作用与区别：

在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

• decode的作用是将其他编码的字符转换成unicode编码,如str1,decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码。

• encode的作用是将unicode编码转换成其他编码的字符串,如str2,encode(‘gb2312’),表示将unicode编码的字符串str2转换成gb2312编码。

常见文档读取有：

• TXT

• PDF

其中TXT文档的读取较为简单，爬取网页数据时注意read()的编码设置即可

我们主要来介绍使用pdfminer3k模块读取PDF

文档PDF的Python读取

——英文PDF文件支持最好且只支持英文PDF是pyPDF2库

——而对于多语言PDF文件支持最好的则是pdfminer，我们这里就使用pdfminer3k库来实现读取PDF。

1. 安装pdfminer3k：

——pip install pdfminer3k

——python setup.py install`在这里插入代码片`

2. 验证安装pdfminer3k是否成功：

在cmd下，进入tools目录下（ cd ~/Downloads/pdfminer3k-1.3.1/tools）后使用命令 ——python3 pdf2txt.py ../samples/simple1.pdf        #..是退回上一层目录的意思

3. Python读取PDF文档：

pdfminer3k中类的关系：

读取流程

——打开pdf文档的文件对象：

fp = open("naacl06-shinyama.pdf", 'rb')     #本地文档
fp = urlopen('https://www.tencent.com/zh-cn/articles/802741466496787.pdf')   #在线pdf

——创建文档分析器（解析器）：

pdf_parser = PDFParser(fp)       #传入pdf，从中获取数据

——创建文档对象，保存获取的数据：

pdf_doc = PDFDocument()     #保存获取的数据，和PDFParser是相互关联的

——连接分析器和文档对象：

pdf_parser.set_document(doc)          
doc.set_parser(pdf_parser)      

——判断文件是否允许文本提取：

if not doc.is_extractable:
    raise PDFTextExtractionNotAllowed     #raise如果抛出异常，后续语句不执行

——对文档对象提供密码（password）初始化，没有就不用传该参数：

doc.initialize("")

——创建资源管理器：

resource = PDFResourceManager()      #用于存储共享资源，如字体或图像

——创建参数分析器：

laparam = LAParams()

——创建一个页面聚合器对象：

device = PDFPageAggregator(resource, laparams=laparam)

——创建一个页面解析器对象来处理页面内容：

interpreter = PDFPageInterpreter(resource, device)     #传入的是页面资源和聚合器对象

——获取page列表：

doc.get_pages()

——使用页面解释器来读取：

interpreter.process_page(page)

——使用页面聚合器获得内容：

layout = device.get_result()       #这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象

——循环遍历取出聚合器获得的对象内容：

for out in layout:      
       if hasattr(out, 'get_text'):              #判断out对象是否具有get_text方法
           print(out.get_text())                 #输出out对象

Layout布局分析返回的PDF文档中的每个页面LTPage对象。

这个对象和页内包含的子对象，形成一个树结构。

如图所示：

树结构节点含义：

读取PDF文档完整实例

from urllib.request import urlopen
from pdfminer.pdfparser import PDFParser, PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfdevice import PDFDevice

from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal, LAParams

#获取文档
#fp = open("naacl06-shinyama.pdf", 'rb')    
fp = urlopen('https://www.tencent.com/zh-cn/articles/802741466496787.pdf')

#创建解释器
pdf_parser = PDFParser(fp)

#PDF文档对象
doc = PDFDocument()

#连接解释器和文档对象
parser.set_document(doc)
doc.set_parser(parser)

#初始化文档
doc.initialize()

#创建PDF资源管理器
resource = PDFResourceManager()

# 创建一个PDF参数分析器
laparam = LAParams()

# 创建聚合器
device = PDFPageAggregator(resource, laparams=laparam)

#创建PDF页面解析器
interpreter = PDFPageInterpreter(resource, device)

# 循环遍历列表，每次处理一页的内容
# doc.get_pages() 获取page列表

for page in doc.get_pages():
   #使用页面解释器来读取
   interpreter.process_page(page)
   #使用聚合器获得内容
   layout = device.get_result()
   for out in layout:      
       if hasattr(out, 'get_text'):
           print(out.get_text())

来源：https://blog.csdn.net/qq_42415326/article/details/89432839