Python利用re模块实现多行文本处理

目录

• 引言：多行处理的现实挑战
• 一、多行模式基础：理解标志机制
• 1.1 核心标志参数
• 1.2 多行标志效果矩阵
• 二、多行匹配核心技巧
• 2.1 行首/行尾精确捕获
• 2.2 跨行字段提取
• 三、大型日志处理实战
• 3.1 堆栈跟踪解析
• 3.2 流式日志处理
• 四、HTML/XML文档解析技巧
• 4.1 多行HTML标签提取
• 4.2 避免嵌套陷阱
• 五、代码解析高级技巧
• 5.1 Python函数提取
• 5.2 多行注释处理
• 六、正则优化与安全
• 6.1 多行匹配性能优化
• 6.2 防范ReDos攻击
• 七、多行模板引擎实例
• 7.1 支持多行区块的模板引擎
• 总结：多行正则表达式专业指南
• 8.1 多行匹配的五大核心策略
• 8.2 最佳实践黄金法则

在复杂文本处理场景中，单行正则表达式往往面临重大局限。根据2023年Stack Overflow开发者调查，68%的正则表达式应用涉及多行文本处理，典型场景包括：

• 日志分析中的堆栈跟踪信息提取（单次异常可能横跨50+行）
• 配置文件中的多行配置项解析（如Nginx的location规则）
• HTML/XML文档解析（特别是带格式化的内容）
• 程序代码中的函数/类定义捕获（涉及嵌套括号）

Python的re模块提供了强大的多行处理能力，但许多开发者未能充分掌握其技巧。本文将深入解析多行正则的编写方法，从基础语法到高级应用，结合Python Cookbook精髓并拓展大型日志处理、代码解析等工程实践。

import re

text = "Line1nLine2nLine3"

# 多行标志效果对比
print("默认模式:")
print(re.findall("^Line", text))  # ['Line1']

print("多行模式:")
print(re.findall("^Line", text, re.MULTILINE))  # ['Line1', 'Line2', 'Line3']

print("点号匹配模式:")
print(re.findall("Line.*", text))  # ['Line1']
print(re.findall("Line.*", text, re.DOTALL))  # ['Line1nLine2nLine3']

标志	描述	改变的行为	典型应用场景
re.MULTILINE (M)	多行模式	^ 匹配行首, $ 匹配行尾	按行处理日志
re.DOTALL (S)	点号通配	. 匹配换行符	捕获HTML标签
re.IGNORECASE (I)	忽略大小写	不区分大小写	用户输入处理
re.VERBOSE (X)	详细模式	允许注释和多行编写	复杂正则维护

log = """
[2023-08-15] ERROR: Database connection failed
[2023-08-15] WARNING: High memory usage
[2023-08-15] INFO: Backup completed
"""

# 捕获错误级别的日志
error_pattern = re.compile(r"^[.*?] (ERROR: .+)$", re.MULTILINE)
errors = error_pattern.findall(log)
# ['ERROR: Database connection failed']

config = """
[Database]
host = localhost
port = 3306
user = admin

[Redis]
host = 127.0.0.1
port = 6379
"""

# 提取Database段配置
db_pattern = re.compile(
    r"[Database](.*?)n[",  # 非贪婪匹配
    re.DOTALL | re.MULTILINE
)
db_config_text = db_pattern.findall(config)[0]

# 解析具体配置项
kv_pattern = re.compile(r"(w+)s*=s*(.+)")
db_config = dict(kv_pattern.findall(db_config_text))
# {'host': 'localhost', 'port': '3306', 'user': 'admin'}

log_data = """
ERROR: Calculation failed
Traceback (most recent call last):
  File "app.py", line 42, in <module>
    result = complex_calculation()
  File "math_utils.py", line 103, in complex_calculation
    return 1 / value
ZeroDivisionError: division by zero
"""

# 提取完整错误追踪
error_pattern = re.compile(
    r"^ERROR: .+$(n.*?)+?(?=^(?:INFO|WARNING|Z))", 
    re.MULTILINE | re.DOTALL
)

# 提取特定错误类型
traceback_pattern = re.compile(
    r"^Traceback.*?$(.*?)^w+:",  # 捕获Traceback及其后的具体错误
    re.MULTILINE | re.DOTALL
)

tracebacks = traceback_pattern.findall(log_data)
print(f"Found {len(tracebacks)} traceback(s)")
for tb in tracebacks:
    print(tb.strip())

class LogStreamParser:
    def __init__(self, patterns):
        """
        patterns: {name: (start_pattern, end_pattern)}
        """
        self.patterns = patterns
        self.buffer = ""
        self.current_section = None
        
    def feed(self, chunk):
        """处理日志片段"""
        self.buffer += chunk
        results = []
        
        while self.buffer:
            if not self.current_section:
                # 检查是否有新段开始
                for name, (start_pattern, _) in self.patterns.items():
                    if start_match := re.search(start_pattern, self.buffer):
                        self.current_section = name
                        break
                if not self.current_section:
                    # 丢弃非段内容
                    self.buffer = ""
                    return results
                
            # 检查当前段结束
            _, end_pattern = self.patterns[self.current_section]
            if end_match := re.search(end_pattern, self.buffer):
                end_pos = end_match.end()
                section_text = self.buffer[:end_pos]
                results.append((self.current_section, section_text))
                self.buffer = self.buffer[end_pos:]
                self.current_section = None
            else:
                break
        
        return results

# 使用示例
patterns = {
    "TRACEBACK": (r"^Traceback", r"^w+Error: .+$"),
    "SQL": (r"^SQL: ", r"^Execution time: d+.d+s")
}

parser = LogStreamParser(patterns)
with open("large_app.log") as f:
    while chunk := f.read(4096):
        for section, text in parser.feed(chunk):
            print(f"Found {section} section of {len(text)} bytes")

html_content = """
<html>
  <body>
    <div class="content">
      <h1>Article Title</h1>
      <p>First paragraph</p>
      <img src="image.jpg" alt="Example">
    </div>
  </body>
</html>
"""

# 提取完整div内容
div_pattern = re.compile(
    r'<div class="content">(.*?)</div>', 
    re.DOTALL | re.IGNORECASE
)
div_content = div_pattern.search(html_content).group(1)

# 提取所有图片标签
img_pattern = re.compile(
    r'<imgs+[^>]*?src="(.*?)"[^>]*>', 
    re.DOTALL | re.IGNORECASE
)
images = img_pattern.findall(html_content)
# ['image.jpg']

# 错误方案：匹配嵌套div
nested_html = """
<div class="outer">
  <div class="inner">Content</div>
</div>
"""

# 问题：会匹配到第一个<div>到最后一个</div>
bad_pattern = r"<div[^>]*>.*</div>"

# 解决方案：非贪婪+排他分组
good_pattern = re.compile(r"""
<div[^>]*>              # 开始标签
(?>                      # 原子组防止回溯
    (?:                  # 非捕获组
        (?!</?div)       # 前瞻：确保不是div标签
        .                # 匹配任意字符
    )*                   # 重复匹配
)                       # 结束原子组
</div>                  # 结束标签
""", re.DOTALL | re.VERBOSE)

source_code = """
import math

def calculate_area(radius):
    """计算圆面积"""
    return math.pi * radius ** 2
    
class Circle:
    def __init__(self, radius):
        self.radius = radius
    
    @property
    def area(self):
        return calculate_area(self.radius)
"""

# 提取函数定义
func_pattern = re.compile(
    r'^defs+(w+)s*((.*?)):(.*?)(?=^S|Z)', 
    re.MULTILINE | re.DOTALL | re.VERBOSE
)

# 提取类方法
method_pattern = re.compile(
    r'^s+defs+(w+)s*((.*?)):(.*?)(?=^S|Z)', 
    re.MULTILINE | re.DOTALL
)

for match in func_pattern.finditer(source_code):
    print(f"Function: {match.group(1)}nParams: {match.group(2)}nBody: {match.group(3).strip()}")

code_with_comments = """
/*
 * 主功能模块
 * 创建时间: 2023-01-01
 */
function process() {
    // 单行注释
    const value = /* 内联注释 */ fetchData();
}
"""

# 提取多行注释
multiline_comment_pattern = re.compile(
    r"/*(.*?)*/", 
    re.DOTALL
)

# 提取所有注释（含单行）
all_comment_pattern = re.compile(
    r"//.*?$|/*(.*?)*/", 
    re.MULTILINE | re.DOTALL
)

comments = all_comment_pattern.findall(code_with_comments)
for comment in comments:
    if comment:  # 多行注释
        print(f"Multi-line: {comment.strip()}")
    else:  # 单行注释
        print("Single-line comment")

# 基准测试：三种多行匹配方法
large_text = "STARTn" + ("Line Contentn" * 10000) + "END"

# 方案1：标准非贪婪
p1 = r"START(.*?)END"
# 方案2：排除END模式
p2 = r"START((?:(?!END).)*)END"
# 方案3：精确范围匹配
p3 = r"START([sS]*?)END"

import timeit
t1 = timeit.timeit("re.search(p1, large_text, re.DOTALL)", number=100, globals=globals())
t2 = timeit.timeit("re.search(p2, large_text, re.DOTALL)", number=100, globals=globals())
t3 = timeit.timeit("re.search(p3, large_text, re.DOTALL)", number=100, globals=globals())

print(f"非贪婪: {t1:.4f}sn排除模式: {t2:.4f}sn精确范围: {t3:.4f}s")

def safe_multiline_search(pattern, text, timeout=1.0):
    """带超时保护的正则匹配"""
    import time
    import re
    
    # 编译正则（添加安全保护）
    compiled = re.compile(pattern, re.DOTALL)
    
    start_time = time.time()
    result = compiled.search(text)
    elapsed = time.time() - start_time
    
    if elapsed > timeout:
        raise TimeoutError(f"正则执行超时({elapsed:.2f}s > {timeout}s)")
    
    return result

# 恶意输入文本（引发ReDos攻击）
evil_text = ("a" * 10000) + "!"
evil_pattern = r"^([a-zA-Z]+)*$"

try:
    result = safe_multiline_search(evil_pattern, evil_text, timeout=0.5)
except TimeoutError as e:
    print(e)

class MultilineTemplate:
    def __init__(self, template):
        self.template = template
        self.blocks = self._parse_blocks()
    
    def _parse_blocks(self):
        # 解析块级标签：{% block name %}...{% endblock %}
        block_pattern = re.compile(
            r"{%s*blocks+(w+)s*%}(.*?){%s*endblocks*%}",
            re.DOTALL | re.IGNORECASE
        )
        return {
            name: content.strip()
            for name, content in block_pattern.findall(self.template)
        }
    
    def render(self, context):
        result = self.template
        # 插入变量
        result = re.sub(
            r"{{(.*?)}}", 
            lambda m: str(context.get(m.group(1).strip(), "")), 
            result
        )
        # 替换区块
        for name, content in self.blocks.items():
            result = result.replace(
                f"{{% block {name} %}}", 
                content.format(**context)
            )
        return result

# 使用示例
template = """
{% block header %}
===== {{title}} =====
{% endblock %}

Document content: {{content}}
"""

tpl = MultilineTemplate(template)
output = tpl.render({"title": "Multiline Test", "content": "Sample content"})
print(output)

策略	技术方案	适用场景
​​精确行定位​​	re.MULTILINE + ^/$	按行处理的结构化日志
​​跨行内容捕获​​	re.DOTALL + .*?	HTML/XML标签提取
​​区块识别​​	起始/结束标志组合	配置文件/代码块
​​嵌套结构​​	原子分组 + 排他匹配	复杂文档解析
​​大文件处理​​	流式解析器	GB级以上文本

​​标志组合策略​​：总是同时考虑 DOTALL 和 MULTILINE 标志的组合使用

# 标准模板
pattern = re.compile(r"...", re.MULTILINE | re.DOTALL)

​​性能优先原则​​：

# 避免通用.*? 优先使用范围限定
# 低效：r'<div>(.*?)</div>'
# 高效：r'<div>([^<]*)</div>'

​​复杂正则维护​​：

# 使用VERBOSE模式编写可读正则
pattern = re.compile(r"""
    b       # 单词边界
    (w{3})  # 三字母缩写
    d{4}    # 四位数年份
    b       # 单词边界
""", re.VERBOSE)

​​上下文边界锁定​​：

# 明确结束边界，避免无限匹配
# 使用(?=n|$)明确结束点
log_pattern = r"[ERROR](.*?)(?=n[|Z)"

​​安全防护机制​​：

# 对用户提供的正则添加超时保护
def safe_re_compile(pattern, flags=0, timeout=1.0):
    import regex  # 使用更安全的regex库
    return regex.compile(pattern, flags, timeout=timeout)

​​多行注释管理​​：

# 开发时添加注释
complex_pattern = re.compile(r"""
    # 日期识别部分
    d{4}-d{2}-d{2}  
    
    # 日志级别部分
    s*(ERROR|WARN|INFO)s*: 
""", re.VERBOSE)

掌握多行正则表达式是文本处理专业化的关键一步。通过组合DOTALL和MULTILINE标志、运用非贪婪匹配、建立精确边界约束，可以解决从简单日志分析到复杂文档解析的各类挑战。同时，性能优化和安全防护措施也是工程实践中不可或缺的部分。遵循本文介绍的技术体系和最佳实践，你将能够从容应对现实项目中的各种多行文本处理需求。

到此这篇关于Python利用re模块实现多行文本处理的文章就介绍到这了,更多相关Python多行文本处理内容请搜索风君子博客以前的文章或继续浏览下面的相关文章希望大家以后多多支持风君子博客！

您可能感兴趣的文章:

• 详解Python匹配多行文本块的正则表达式
• python GUI多行输入文本Text的实现
• 浅析Python 多行匹配模式
• Python3 单行多行万能正则匹配方法
• Python不区分大小写进行文本处理终极指南
• 基于Python打造一个全能文本处理工具