文章目录
- 这是最适合初学者的方案。我们使用 pandas 的 chunksize 参数。 场景：你有一个 1GB 的销售记录文件 sales_data.xlsx，你需要计算所有订单的总销售额。 代码实现： import pandas as pd # 设定文件路径 file_path = ‘sales_data.xlsx’ # 设定每块读取的行数，例如每次读 10,000 行 chunk_size = 10000 # 初始化一个变量来存储总销售额 total_sales = 0 print(“开始处理数据…”) # 使用 context manager (with 语句) 读取文件 # engine=’openpyxl’ 是读取 xlsx 文件的标准引擎 with pd.read_excel(file_path, chunksize=chunk_size, engine=’openpyxl’) as reader: # reader 是一个迭代器，我们通过循环每次拿出一块(chunk) for i, chunk in enumerate(reader): # chunk 就是一个小型的 DataFrame，只包含 10,000 行数据 # 假设我们要汇总 ‘Amount’ 这一列 chunk_sum = chunk[‘Amount’].sum() total_sales += chunk_sum # 打印进度（可选） print(f”正在处理第 {i+1} 块数据，当前块总额: {chunk_sum}”) print(f”处理完成！所有订单的总销售额为: {total_sales}”) 原理解析：这段代码永远不会占用超过 10,000 行数据所需的内存。即使文件有 1 亿行，只要你有耐心，它都能跑完。
- 很多时候，大文件里有 100 列数据，但你只需要其中的 3 列。不要读取你不需要的数据，这是节省内存的黄金法则。 代码实现： import pandas as pd # usecols 参数指定我们需要的列名或索引 # 假设我们只需要 ‘Date’, ‘Product’, ‘Amount’ 这三列 needed_columns = [‘Date’, ‘Product’, ‘Amount’] print(“正在读取特定列…”) df = pd.read_excel(‘sales_data.xlsx’, usecols=needed_columns, engine=’openpyxl’) print(“读取成功！”) print(df.head()) # 查看前5行 优势：极大地减少了内存占用，速度也会提升。
- 这是业内处理大数据的标准流程。 Excel (.xlsx) 本质上是一个压缩的 XML 文件包，解析它非常慢。如果你需要反复分析这个数据，最好的办法是只痛一次：将它转换为更高效的格式，如 Parquet 或 CSV。 Parquet: 读取速度比 Excel 快几十倍，且占用空间极小。 步骤 1：将 Excel 转为 Parquet (结合分块) import pandas as pd import os file_path = ‘sales_data.xlsx’ parquet_file = ‘sales_data.parquet’ chunk_size = 50000 # 如果文件存在先删除，避免追加重复数据 if os.path.exists(parquet_file): os.remove(parquet_file) print(“正在进行格式转换…”) with pd.read_excel(file_path, chunksize=chunk_size, engine=’openpyxl’) as reader: for i, chunk in enumerate(reader): # 将每一块追加写入 Parquet 文件 # 注意：首次写入需要创建，后续是追加。 # 这里为了演示简单，我们使用 fastparquet 或 pyarrow # 但追加写入 Parquet 稍微复杂，初学者建议先转 CSV 再转 Parquet # 下面演示最通用的：转为 CSV mode = ‘a’ if i > 0 else ‘w’ # 第一次是写入(w)，之后是追加(a) header = (i == 0) # 只有第一块需要写表头 chunk.to_csv(‘sales_data.csv’, mode=mode, header=header, index=False) print(f”已转换第 {i+1} 块”) print(“转换完成！现在你可以飞快地读取 CSV 了。”) 步骤 2：极速读取 一旦转为 CSV 或 Parquet，你就可以直接秒读了： # 读取 CSV 比 Excel 快得多 df = pd.read_csv(‘sales_data.csv’) print(“数据加载完毕！”)
- 如果你觉得 Pandas 还是不够快，Python 社区的新星 Polars 是目前最快的数据处理库。它底层使用 Rust 编写，专门为多线程和高性能设计。 代码实现： import polars as pl print(“使用 Polars 引擎启动…”) # Polars 读取 Excel 通常比 Pandas 快，因为它支持多线程 # 且它具有 ‘Lazy API’ (惰性计算) 的特性 df = pl.read_excel(“sales_data.xlsx”) # 进行一些聚合计算 result = df.select( pl.col(“Amount”).sum() ) print(result) 注意：对于特别巨大的 Excel，Polars 配合 fastexcel 引擎效果最佳。
目录
- 1. 核心概念：为什么 Excel 会卡死
- 2. 准备工作 (Prerequisites)
- 安装必要的库
- 3. 实战指南：处理超大 Excel 的三种方案
- 方案一：分块读取（Chunking）—— 最经典的 Pandas 方法
- 方案二：只读取需要的列 —— 极简主义
- 方案三：格式转换 —— 一劳永逸的专业做法 (强烈推荐)
- 4. 进阶方案：使用 Polars (性能怪兽)
- 5. 常见陷阱 (Common Pitfalls)
- 6. 总结与建议
在数据分析的日常工作中，我们经常会遇到一个令人头疼的问题：Excel文件太大了。当你试图打开一个几百兆甚至上GB的 .xlsx 文件时，电脑风扇狂转，Excel界面显示“未响应”，最后甚至直接导致内存溢出（Out of Memory）而崩溃。
作为初学者，你可能会问：“Python能解决这个问题吗？”
答案是肯定的。Python 不仅能处理 Excel 无法打开的文件，而且处理速度更快、更自动化。本文将手把手教你如何使用 Python 优雅地“吃掉”这些数据巨兽。
在开始写代码之前，我们需要理解一个概念：内存（RAM） vs 硬盘。
- Excel 的逻辑：当你双击打开文件时，Excel 试图将所有数据一次性全部加载到电脑的内存条中。如果文件大小超过了可用内存，电脑就会卡死。
- Python 的逻辑：Python（通过特定的库）可以采用 “流式处理”（Streaming） 或 “分块读取”（Chunking） 的方式。它不需要一次性把整个文件读入内存，而是像流水线一样，每次只读一小部分，处理完后再读下一部分。
在开始之前，请确保你的环境已经准备就绪。
我们需要用到数据分析领域的瑞士军刀 pandas，以及专门用于读取 Excel 文件的引擎 openpyxl。
打开你的终端（Terminal 或 CMD），运行以下命令：
pip install pandas openpyxl
如果你追求极致速度（进阶），建议安装 polars（后文会介绍）：
pip install polars fastexcel
我们将由浅入深，介绍三种处理方案。
这是最适合初学者的方案。我们使用 pandas 的 chunksize 参数。
场景：你有一个 1GB 的销售记录文件 sales_data.xlsx，你需要计算所有订单的总销售额。
代码实现：
import pandas as pd
# 设定文件路径
file_path = 'sales_data.xlsx'
# 设定每块读取的行数，例如每次读 10,000 行
chunk_size = 10000
# 初始化一个变量来存储总销售额
total_sales = 0
print("开始处理数据...")
# 使用 context manager (with 语句) 读取文件
# engine='openpyxl' 是读取 xlsx 文件的标准引擎
with pd.read_excel(file_path, chunksize=chunk_size, engine='openpyxl') as reader:
# reader 是一个迭代器，我们通过循环每次拿出一块(chunk)
for i, chunk in enumerate(reader):
# chunk 就是一个小型的 DataFrame，只包含 10,000 行数据
# 假设我们要汇总 'Amount' 这一列
chunk_sum = chunk['Amount'].sum()
total_sales += chunk_sum
# 打印进度（可选）
print(f"正在处理第 {i+1} 块数据，当前块总额: {chunk_sum}")
print(f"处理完成！所有订单的总销售额为: {total_sales}")
原理解析：这段代码永远不会占用超过 10,000 行数据所需的内存。即使文件有 1 亿行，只要你有耐心，它都能跑完。
很多时候，大文件里有 100 列数据，但你只需要其中的 3 列。不要读取你不需要的数据，这是节省内存的黄金法则。
代码实现：
import pandas as pd
# usecols 参数指定我们需要的列名或索引
# 假设我们只需要 'Date', 'Product', 'Amount' 这三列
needed_columns = ['Date', 'Product', 'Amount']
print("正在读取特定列...")
df = pd.read_excel('sales_data.xlsx', usecols=needed_columns, engine='openpyxl')
print("读取成功！")
print(df.head()) # 查看前5行
优势：极大地减少了内存占用，速度也会提升。
这是业内处理大数据的标准流程。
Excel (.xlsx) 本质上是一个压缩的 XML 文件包，解析它非常慢。如果你需要反复分析这个数据，最好的办法是只痛一次：将它转换为更高效的格式，如 Parquet 或 CSV。
Parquet: 读取速度比 Excel 快几十倍，且占用空间极小。
步骤 1：将 Excel 转为 Parquet (结合分块)
import pandas as pd
import os
file_path = 'sales_data.xlsx'
parquet_file = 'sales_data.parquet'
chunk_size = 50000
# 如果文件存在先删除，避免追加重复数据
if os.path.exists(parquet_file):
os.remove(parquet_file)
print("正在进行格式转换...")
with pd.read_excel(file_path, chunksize=chunk_size, engine='openpyxl') as reader:
for i, chunk in enumerate(reader):
# 将每一块追加写入 Parquet 文件
# 注意：首次写入需要创建，后续是追加。
# 这里为了演示简单，我们使用 fastparquet 或 pyarrow
# 但追加写入 Parquet 稍微复杂，初学者建议先转 CSV 再转 Parquet
# 下面演示最通用的：转为 CSV
mode = 'a' if i > 0 else 'w' # 第一次是写入(w)，之后是追加(a)
header = (i == 0) # 只有第一块需要写表头
chunk.to_csv('sales_data.csv', mode=mode, header=header, index=False)
print(f"已转换第 {i+1} 块")
print("转换完成！现在你可以飞快地读取 CSV 了。")
步骤 2：极速读取
一旦转为 CSV 或 Parquet，你就可以直接秒读了：
# 读取 CSV 比 Excel 快得多
df = pd.read_csv('sales_data.csv')
print("数据加载完毕！")
如果你觉得 Pandas 还是不够快，Python 社区的新星 Polars 是目前最快的数据处理库。它底层使用 Rust 编写，专门为多线程和高性能设计。
代码实现：
import polars as pl
print("使用 Polars 引擎启动...")
# Polars 读取 Excel 通常比 Pandas 快，因为它支持多线程
# 且它具有 'Lazy API' (惰性计算) 的特性
df = pl.read_excel("sales_data.xlsx")
# 进行一些聚合计算
result = df.select(
pl.col("Amount").sum()
)
print(result)
注意：对于特别巨大的 Excel，Polars 配合 fastexcel 引擎效果最佳。
在处理大文件时，新手容易犯以下错误：
- 试图
print(df)整个数据框：不要在控制台打印几百万行数据，这会卡死你的编辑器。永远使用df.head()查看前几行。 - 忽略数据类型：Excel 中的数字列可能混入了文本（比如 “N/A”），导致 Python 把它识别为字符串。在计算前，务必检查
df.dtypes。 - 盲目使用 Pandas 默认设置：
read_excel默认是非常慢的。对于大文件，必须使用chunksize或者先转换格式。 - 电脑配置过低：虽然 Python 能优化内存，但如果你的电脑只有 4GB 内存且运行着几十个 Chrome 标签页，处理 GB 级文件依然会很吃力。关闭不必要的软件。
处理超大 Excel 文件不再是噩梦。作为初学者，建议按照以下路径进阶：
- 入门：使用
pandas的chunksize参数，分批次循环处理数据。 - 优化：养成“只读所需列”的好习惯 (
usecols)。 - 专业：将低效的
.xlsx文件第一时间转换为.csv或.parquet，将数据清洗和数据存储分开。 - 探索：尝试使用
Polars库，体验极速数据处理。
记住：Excel 是用来展示数据的，而不是用来存储海量数据的。用 Python 做数据处理，让 Excel 回归报表展示，这才是专业数据分析师的工作流。
以上就是Python处理超大Excel文件(GB级)的完全指南的详细内容，更多关于Python处理超大文件的资料请关注风君子博客其它相关文章！
您可能感兴趣的文章:
- python读取Excel大文件的四种方法与优化
- Python多线程实现大文件快速下载的代码实现
- Python中几种高效读取大文件的完整指南
- 使用Python处理大文件的读取的方法小结
- Python查找大文件的实用脚本分享
- Python3读取和处理超大文件的操作详解
- Python实现轻松读取大文件的技巧揭秘
- 如何利用Python 快速找到最大文件