import os
import re
from datetime import datetime
from typing import List, Dict, Optional, Tuple

import pandas as pd
from PyPDF2 import PdfReader
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer

class PDFTextExtractor:
    """专业的PDF文本提取工具"""
    
    def __init__(self, output_dir: str = "output"):
        """
        初始化提取工具
        
        :param output_dir: 输出目录路径
        """
        self.output_dir = output_dir
        os.makedirs(self.output_dir, exist_ok=True)
        
        # 文本清理正则表达式
        self.clean_patterns = [
            (r's+', ' '),  # 合并多个空白字符
            (r'n{3,}', 'nn'),  # 限制连续换行
            (r'[^x00-x7F]+', ' '),  # 移除非ASCII字符
        ]
    
    def extract_metadata(self, pdf_path: str) -> Dict[str, str]:
        """提取PDF元数据"""
        with open(pdf_path, 'rb') as file:
            reader = PdfReader(file)
            meta = reader.metadata
            
            return {
                'file_name': os.path.basename(pdf_path),
                'title': meta.get('/Title', ''),
                'author': meta.get('/Author', ''),
                'creator': meta.get('/Creator', ''),
                'producer': meta.get('/Producer', ''),
                'created_date': meta.get('/CreationDate', ''),
                'modified_date': meta.get('/ModDate', ''),
                'page_count': len(reader.pages),
                'extraction_date': datetime.now().isoformat()
            }
    
    def clean_text(self, text: str) -> str:
        """清理和规范化提取的文本"""
        for pattern, replacement in self.clean_patterns:
            text = re.sub(pattern, replacement, text)
        return text.strip()
    
    def extract_text_from_page(self, page_layout) -> str:
        """从单个页面布局提取文本"""
        page_text = []
        for element in page_layout:
            if isinstance(element, LTTextContainer):
                text = element.get_text()
                if text.strip():
                    page_text.append(self.clean_text(text))
        return 'n'.join(page_text)
    
    def extract_toc(self, pdf_path: str) -> List[Dict[str, str]]:
        """尝试提取文档目录结构"""
        toc = []
        try:
            with open(pdf_path, 'rb') as file:
                reader = PdfReader(file)
                if reader.outline:
                    for item in reader.outline:
                        if isinstance(item, list):
                            continue  # 跳过子项处理简化示例
                        toc.append({
                            'title': item.title,
                            'page': reader.get_destination_page_number(item) + 1
                        })
        except Exception:
            pass  # 目录提取失败不影响主流程
        return toc
    
    def process_pdf(self, pdf_path: str) -> Dict[str, any]:
        """处理单个PDF文件"""
        if not os.path.isfile(pdf_path):
            raise FileNotFoundError(f"PDF文件不存在: {pdf_path}")
        
        result = {
            'metadata': self.extract_metadata(pdf_path),
            'toc': self.extract_toc(pdf_path),
            'pages': []
        }
        
        # 使用pdfminer逐页提取文本
        for i, page_layout in enumerate(extract_pages(pdf_path)):
            page_text = self.extract_text_from_page(page_layout)
            if page_text:
                result['pages'].append({
                    'page_number': i + 1,
                    'content': page_text,
                    'char_count': len(page_text),
                    'word_count': len(page_text.split())
                })
        
        return result
    
    def batch_process(self, pdf_files: List[str]) -> List[Dict[str, any]]:
        """批量处理多个PDF文件"""
        results = []
        for pdf_file in pdf_files:
            try:
                print(f"正在处理: {os.path.basename(pdf_file)}...")
                results.append(self.process_pdf(pdf_file))
            except Exception as e:
                print(f"处理 {pdf_file} 时出错: {str(e)}")
                results.append({
                    'file': pdf_file,
                    'error': str(e)
                })
        return results
    
    def export_to_csv(self, data: List[Dict[str, any]], prefix: str = "pdf_export"):
        """将提取结果导出为CSV"""
        # 准备元数据表格
        meta_data = [item['metadata'] for item in data if 'metadata' in item]
        meta_df = pd.DataFrame(meta_data)
        
        # 准备页面内容表格
        page_data = []
        for doc in data:
            if 'pages' in doc:
                for page in doc['pages']:
                    page_entry = {
                        'file_name': doc['metadata']['file_name'],
                        **page
                    }
                    page_data.append(page_entry)
        pages_df = pd.DataFrame(page_data)
        
        # 生成时间戳文件名
        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
        meta_file = os.path.join(self.output_dir, f"{prefix}_metadata_{timestamp}.csv")
        pages_file = os.path.join(self.output_dir, f"{prefix}_pages_{timestamp}.csv")
        
        # 保存文件
        meta_df.to_csv(meta_file, index=False, encoding='utf-8-sig')
        pages_df.to_csv(pages_file, index=False, encoding='utf-8-sig')
        
        return meta_file, pages_file

# 使用示例
if __name__ == "__main__":
    # 初始化提取器
    extractor = PDFTextExtractor()
    
    # 示例PDF文件列表（替换为实际路径）
    sample_files = [
        "documents/sample1.pdf",
        "documents/sample2.pdf"
    ]
    
    # 批量处理并导出
    results = extractor.batch_process(sample_files)
    meta_csv, pages_csv = extractor.export_to_csv(results)
    
    print(f"n处理完成！n元数据已保存至: {meta_csv}n页面内容已保存至: {pages_csv}")

class PDFTextExtractor:
    def __init__(self, output_dir: str = "output"):
        self.output_dir = output_dir
        os.makedirs(self.output_dir, exist_ok=True)
        
        # 文本清理正则表达式
        self.clean_patterns = [
            (r's+', ' '),  # 合并多个空白字符
            (r'n{3,}', 'nn'),  # 限制连续换行
            (r'[^x00-x7F]+', ' '),  # 移除非ASCII字符
        ]

默认输出目录为"output"，自动创建目录
预定义文本清理规则，确保提取文本质量
使用exist_ok=True避免目录已存在错误

def extract_metadata(self, pdf_path: str) -> Dict[str, str]:
    with open(pdf_path, 'rb') as file:
        reader = PdfReader(file)
        meta = reader.metadata
        
        return {
            'file_name': os.path.basename(pdf_path),
            'title': meta.get('/Title', ''),
            'author': meta.get('/Author', ''),
            # ...其他元数据字段
        }

使用PyPDF2读取PDF基础信息
提取标准文档属性（标题、作者等）
包含文件基本信息（名称、页数等）
记录提取时间戳便于追踪

def clean_text(self, text: str) -> str:
    for pattern, replacement in self.clean_patterns:
        text = re.sub(pattern, replacement, text)
    return text.strip()

def extract_text_from_page(self, page_layout) -> str:
    page_text = []
    for element in page_layout:
        if isinstance(element, LTTextContainer):
            text = element.get_text()
            if text.strip():
                page_text.append(self.clean_text(text))
    return 'n'.join(page_text)

使用pdfminer的布局分析功能
精确识别文本容器元素
应用多级文本清理规则
保留合理的文本结构（段落分隔）

本工具将实现以下核心功能：

1.PDF文档元数据提取

自动识别并提取文档属性信息，包括但不限于：

基础信息：标题、作者、主题、关键词

创建信息：创建日期、修改日期、创建工具

安全设置：加密状态、权限信息

示例：对于学术论文PDF，可提取DOI编号、ISSN等专业元数据

2.精准文本内容提取

支持按页面粒度提取文本

智能识别文档分栏排版，保持原始阅读顺序

处理特殊文本元素：

表格内容结构化提取

页眉页脚自动识别与过滤

脚注和尾注关联处理

3.格式与结构保留

维持原始文本的段落划分和换行符

识别并标记各级标题样式（H1-H6）

保留项目符号和编号列表结构

处理特殊格式：加粗、斜体、下划线等强调文本

4.智能目录解析

自动构建文档层级关系树

识别目录条目与正文页面的对应关系

支持手动校正识别错误的目录结构

对于无目录文档，可基于标题样式自动生成

5.批量处理能力

支持文件夹批量导入处理

提供处理进度实时显示

错误文件自动跳过并记录日志

典型应用场景：图书馆电子文档批量归档、企业文档管理系统建设

6.多样化输出选项

结构化数据导出：

CSV格式：适合数据库导入

Excel：保留多工作表结构

JSON：保持层级关系

自定义输出模板：

选择需要导出的元数据字段

设置文本内容导出范围（如仅正文或包含注释）

配置分页/连续文本输出模式

尝试提取PDF内置目录结构

处理嵌套目录项（简化版跳过子项）

容错处理确保主流程不受影响

返回标准化的目录条目列表

def batch_process(self, pdf_files: List[str]) -> List[Dict[str, any]]:
    results = []
    for pdf_file in pdf_files:
        try:
            results.append(self.process_pdf(pdf_file))
        except Exception as e:
            results.append({'file': pdf_file, 'error': str(e)})
    return results
 
def export_to_csv(self, data: List[Dict[str, any]], prefix: str = "pdf_export"):
    # 准备元数据和页面内容DataFrame
    meta_df = pd.DataFrame([item['metadata'] for item in data if 'metadata' in item])
    pages_df = pd.DataFrame([
        {'file_name': doc['metadata']['file_name'], **page}
        for doc in data if 'pages' in doc
        for page in doc['pages']
    ])
    
    # 保存CSV文件
    timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
    meta_file = os.path.join(self.output_dir, f"{prefix}_metadata_{timestamp}.csv")
    pages_file = os.path.join(self.output_dir, f"{prefix}_pages_{timestamp}.csv")
    
    meta_df.to_csv(meta_file, index=False, encoding='utf-8-sig')
    pages_df.to_csv(pages_file, index=False, encoding='utf-8-sig')

支持批量处理多个PDF文件
每个文件独立错误处理不影响整体
使用pandas构建结构化数据
自动生成时间戳文件名避免覆盖
UTF-8编码确保特殊字符正确保存

try:
    import pytesseract
    from pdf2image import convert_from_path
    
    def extract_text_with_ocr(self, pdf_path: str) -> Dict[str, any]:
        """使用OCR处理图像型PDF"""
        images = convert_from_path(pdf_path)
        ocr_results = []
        
        for i, image in enumerate(images):
            text = pytesseract.image_to_string(image)
            if text.strip():
                ocr_results.append({
                    'page_number': i + 1,
                    'content': self.clean_text(text),
                    'method': 'OCR'
                })
        
        return {
            'metadata': self.extract_metadata(pdf_path),
            'pages': ocr_results
        }
except ImportError:
    pass

try:
    import camelot
    
    def extract_tables(self, pdf_path: str) -> List[Dict[str, any]]:
        """提取PDF中的表格数据"""
        tables = camelot.read_pdf(pdf_path, flavor='lattice')
        return [
            {
                'page': table.page,
                'order': table.order,
                'df': table.df.to_dict(),
                'accuracy': table.accuracy
            }
            for table in tables
        ]
except ImportError:
    pass

import sqlite3

def export_to_sqlite(self, data: List[Dict[str, any]], db_name: str = "pdf_data.db"):
    """将提取结果导出到SQLite数据库"""
    conn = sqlite3.connect(os.path.join(self.output_dir, db_name))
    
    # 创建元数据表
    conn.execute('''
    CREATE TABLE IF NOT EXISTS pdf_metadata (
        file_name TEXT PRIMARY KEY,
        title TEXT,
        author TEXT,
        page_count INTEGER,
        created_date TEXT
    )
    ''')
    
    # 创建页面内容表
    conn.execute('''
    CREATE TABLE IF NOT EXISTS pdf_pages (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        file_name TEXT,
        page_number INTEGER,
        content TEXT,
        char_count INTEGER,
        word_count INTEGER
    )
    ''')
    
    # 插入数据
    for doc in data:
        if 'metadata' in doc:
            meta = doc['metadata']
            conn.execute(
                'INSERT OR REPLACE INTO pdf_metadata VALUES (?,?,?,?,?)',
                (meta['file_name'], meta['title'], meta['author'], 
                 meta['page_count'], meta['created_date'])
        
        if 'pages' in doc:
            for page in doc['pages']:
                conn.execute(
                    'INSERT INTO pdf_pages VALUES (NULL,?,?,?,?,?)',
                    (doc['metadata']['file_name'], page['page_number'],
                     page['content'], page['char_count'], page['word_count'])
    
    conn.commit()
    conn.close()

并行处理：

from concurrent.futures import ThreadPoolExecutor

def parallel_batch_process(self, pdf_files: List[str], workers: int = 4):
    with ThreadPoolExecutor(max_workers=workers) as executor:
        return list(executor.map(self.process_pdf, pdf_files))

增量处理：

记录已处理文件避免重复工作
支持断点续处理

内存优化：

流式处理大文件
限制同时打开的文件数

文件验证：

检查文件确实是PDF格式

验证文件完整性

敏感数据处理：

可选擦除敏感内容

提供内容过滤选项

权限控制：

检查文件读写权限

安全处理临时文件

import unittest
import shutil
from pathlib import Path

class TestPDFTextExtractor(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls.test_dir = Path("test_output")
        cls.test_dir.mkdir(exist_ok=True)
        
        # 创建测试PDF (实际使用中应准备样例文件)
        cls.sample_pdf = cls.test_dir / "sample.pdf"
        # 这里应添加PDF生成代码或使用预准备的测试文件
    
    def test_metadata_extraction(self):
        extractor = PDFTextExtractor(self.test_dir)
        result = extractor.process_pdf(self.sample_pdf)
        self.assertIn('metadata', result)
        self.assertGreater(result['metadata']['page_count'], 0)
    
    def test_text_extraction(self):
        extractor = PDFTextExtractor(self.test_dir)
        result = extractor.process_pdf(self.sample_pdf)
        self.assertIn('pages', result)
        self.assertGreater(len(result['pages']), 0)
        self.assertGreater(result['pages'][0]['word_count'], 0)
    
    @classmethod
    def tearDownClass(cls):
        shutil.rmtree(cls.test_dir)

if __name__ == '__main__':
    unittest.main()

本文详细讲解了专业PDF文本提取工具的开发过程，涵盖了以下核心技术和实现细节：

1.PDF元数据提取技术

解析PDF文件头信息获取版本号

提取文档属性（标题、作者、创建日期等）

获取页面尺寸、旋转角度等布局信息

示例：使用PyPDF2库提取文档创建时间戳

2.文本内容精确提取方法

字符编码检测与转换处理

分页文本提取与页码标记

表格内容识别与结构化处理

特殊字符和连字符的处理策略

实际案例：处理包含数学公式的学术论文PDF

3.结构化数据导出策略

CSV格式的表格导出实现

XML格式的层次化数据组织

保留原始文档结构的导出方案

性能对比：不同导出格式的处理效率

4.异常处理和性能考量

加密PDF的解密处理流程

损坏文件的恢复机制

内存优化和大文件处理技巧

多线程处理实现方案

5.多种扩展可能性

插件式架构设计

第三方API集成接口

机器学习模型接入点

读者可以通过这个基础框架，根据实际需求添加更多高级功能，如：

1.自定义内容过滤规则

正则表达式匹配过滤

关键词黑白名单设置

基于位置的区域选择提取

2.支持更多输出格式

JSON格式的灵活配置

Markdown的标题层级保留

自定义模板输出

3.集成到自动化工作流中

命令行批处理模式

文件夹监控自动处理

与OCR系统的管道连接

4.开发Web服务接口

RESTful API设计

文件上传处理流程

异步任务队列实现

建议在实际使用前充分测试各种类型的PDF文档，特别是处理以下特殊场景时：

扫描版PDF（需要OCR集成）

多栏排版的学术论文

包含复杂表格的财务报表

使用特殊字体的设计文档

加密或权限受限的文档

测试时应重点关注：

文本提取的完整性和准确性

格式保留的保真度

处理时间的可接受度

内存消耗的稳定性

以上就是使用Python打造一个专业的PDF文本提取工具的详细内容，更多关于Python PDF文本提取的资料请关注风君子博客其它相关文章！

您可能感兴趣的文章:

使用Python提取PDF文件中内容的代码示例和使用技巧

Python实现精准提取 PDF中的文本,表格与图片

Python如何批量提取pdf文本内容

Python实现PDF提取文字并统计词频

使用Python开发一个PDF文本提取工具

Python利用PyPDF2库实现轻松提取PDF文本

利用Python提取PDF文本的简单方法实例

华夏福临门盛世加强版怎么样？产品责任是重中之重

国寿福庆典版值得买吗？附投保建议

理财中低风险是几级？中低风险理财会亏吗

瑞泰泰安心防癌险优缺点是什么？这份分析不容错过

2020最新自助免费申请Office365教育版，免费5TOneDrive云盘详细图文教程

MacBook怎么绕过BootCamp安装Win10双系统？

国内知名的前端博客

域名为什么会被墙？如何检测域名是否被墙？域名被墙如何处理？

最新的windows xp sp3产品密匙 xp sp3序列号 xp sp3激活码

使用Python打造一个专业的PDF文本提取工具

目录

开发本工具需要以下环境配置： Python环境：建议Python 3.8或更高版本 必要库： PyPDF2（基础PDF操作） pdfminer.six（高级文本提取） pandas（数据导出） 安装命令： pip install PyPDF2 pdfminer.six pandas

本工具将实现以下核心功能： 提取PDF文档元数据（作者、标题等） 按页面提取文本内容 保留文本基本格式和结构 识别文档目录结构 支持批量处理多个PDF文件 导出为结构化格式（CSV/Excel）

文件验证： 检查文件确实是PDF格式 验证文件完整性 敏感数据处理： 可选擦除敏感内容 提供内容过滤选项 权限控制： 检查文件读写权限 安全处理临时文件

更多文章

站内搜索

标签云

热门文章

友情链接

开发本工具需要以下环境配置：

Python环境：建议Python 3.8或更高版本

必要库：

PyPDF2（基础PDF操作）

pdfminer.six（高级文本提取）

pandas（数据导出）

安装命令：

pip install PyPDF2 pdfminer.six pandas

本工具将实现以下核心功能：

提取PDF文档元数据（作者、标题等）

按页面提取文本内容

保留文本基本格式和结构

识别文档目录结构

支持批量处理多个PDF文件

导出为结构化格式（CSV/Excel）

文件验证：

检查文件确实是PDF格式

验证文件完整性

敏感数据处理：

可选擦除敏感内容

提供内容过滤选项

权限控制：

检查文件读写权限

安全处理临时文件