Python多进程、多线程、协程典型示例解析(最新推荐)

目录

• 一、multiprocessing（多进程）
• 1. 模块简介
• 2. 案例详解：并行计算平方和
• 3. 实现逻辑
• 4. 注意事项
• 二、threading（多线程）
• 1. 模块简介
• 2. 案例详解：同时下载文件与显示进度条
• 3. 实现逻辑
• 4. 注意事项
• 三、asyncio（协程）
• 1. 模块简介
• 2. 案例详解：异步批量请求网页
• 3. 实现逻辑
• 4. 注意事项

• 作用：创建多个独立运行的进程（每个进程有独立内存空间）
• 适用场景：数学计算、图像处理等CPU密集型任务
• 核心原理：绕过Python的GIL锁，真正利用多核CPU

import multiprocessing
import time
# 计算平方的任务函数
def calculate_square(number):
    total = 0
    for n in range(number):
        total += n ** 2
    print(f"计算结果：{total}")
if __name__ == "__main__":  # 必须加这句，否则Windows系统会报错
    # 创建4个进程
    processes = []
    numbers = [10_000_000, 10_000_000, 10_000_000, 10_000_000]  # 四个大数
    # 记录开始时间
    start_time = time.time()
    # 创建并启动进程
    for num in numbers:
        p = multiprocessing.Process(target=calculate_square, args=(num,))
        processes.append(p)
        p.start()  # 启动进程（会立即返回，不会等待完成）
    # 等待所有进程完成
    for p in processes:
        p.join()  # 阻塞主进程，直到子进程结束
    # 计算总耗时
    print(f"总耗时：{time.time() - start_time:.2f}秒")

主进程（老板）
   │
   ├─ 子进程1（员工1）→ 独立计算
   ├─ 子进程2（员工2）→ 独立计算
   ├─ 子进程3（员工3）→ 独立计算
   └─ 子进程4（员工4）→ 独立计算

• 进程间不能直接共享变量，需使用Queue或Pipe通信
• 每个进程消耗更多内存（独立内存空间）
• 适合处理相互独立的任务（如同时处理多个文件）

• 作用：创建多个线程（共享同一进程内存）
• 适用场景：文件读写、网络请求等I/O等待型任务
• 核心特点：受GIL限制，同一时刻只能有一个线程执行Python字节码

import threading
import time
import requests
# 全局变量（线程共享）
download_complete = False
def download_file(url):
    global download_complete
    print("开始下载文件...")
    response = requests.get(url)
    with open("bigfile.iso", "wb") as f:
        f.write(response.content)
    download_complete = True
    print("n下载完成！")
def show_progress():
    while not download_complete:
        print(".", end="", flush=True)  # 不换行输出点
        time.sleep(0.5)
if __name__ == "__main__":
    # 创建两个线程
    download_thread = threading.Thread(
        target=download_file, 
        args=("https://example.com/large-file.iso",)
    )
    progress_thread = threading.Thread(target=show_progress)
    # 启动线程
    download_thread.start()
    progress_thread.start()
    # 等待下载线程完成
    download_thread.join()
    progress_thread.join()  # 需要手动停止进度条线程

主线程
   │
   ├─ 下载线程 → 执行下载（遇到网络等待时，GIL释放）
   └─ 进度条线程 → 打印进度点

• 共享变量需使用Lock避免数据竞争
• 线程适合需要频繁共享数据的场景（如GUI程序）
• 不要用多线程做数学计算（反而会更慢）

• 作用：单线程内通过任务切换实现高并发
• 适用场景：Web服务器、高频I/O操作（如爬虫）
• 核心机制：事件循环（Event Loop）驱动协程切换

import asyncio
import aiohttp  # 需要安装：pip install aiohttp
async def fetch_page(url):
    async with aiohttp.ClientSession() as session:  # 创建会话
        async with session.get(url) as response:    # 发起请求
            return await response.text()           # 异步等待响应
async def main():
    urls = [
        "https://www.baidu.com",
        "https://www.taobao.com",
        "https://www.jd.com"
    ]
    # 创建任务列表
    tasks = [fetch_page(url) for url in urls]
    # 并行执行所有任务
    pages = await asyncio.gather(*tasks)  # 关键点：聚集任务
    # 输出结果
    for url, content in zip(urls, pages):
        print(f"{url} → 长度：{len(content)}")
# 启动事件循环
asyncio.run(main())  # Python 3.7+

事件循环（总调度员）
   │
   ├─ 任务1：请求百度 → 遇到等待 → 挂起
   ├─ 任务2：请求淘宝 → 遇到等待 → 挂起
   └─ 任务3：请求京东 → 遇到等待 → 挂起
   
当某个请求返回时，恢复对应任务执行

• 协程函数必须用async def定义
• 阻塞操作必须用await（否则会阻塞整个事件循环）
• 需要配合异步库使用（如aiohttp代替requests）

三者的核心区别总结

特性	multiprocessing	threading	asyncio
并行能力	真正多核并行	伪并行（受GIL限制）	单线程并发
内存占用	高（独立内存空间）	低（共享内存）	最低
适用场景	CPU密集型任务	I/O密集型任务	超高并发I/O任务
代码复杂度	中等（需处理进程通信）	低（但需处理锁）	高（需理解异步语法）

如何选择？

• 需要数学计算加速 → 选multiprocessing
• 简单I/O操作（如文件读写） → 选threading
• 高性能网络请求（如爬虫） → 选asyncio
• 混合型任务 → 组合使用（如多进程+协程）

通过这三个案例，可以明显看出：多进程像多个独立工厂，多线程像工厂内多个协作工人，协程则像一个人用超高效的时间管理法。理解这个核心差异后，就能根据实际需求选择合适的工具了。

到此这篇关于Python多进程、多线程、协程典型示例解析的文章就介绍到这了,更多相关Python多进程、多线程、协程典型示例解析内容请搜索风君子博客以前的文章或继续浏览下面的相关文章希望大家以后多多支持风君子博客！

您可能感兴趣的文章:

• python并发编程之多进程、多线程、异步和协程详解
• 深入浅析python中的多进程、多线程、协程
• Python中安全地使用多进程和多线程进行数据共享
• python多进程和多线程介绍
• python logging多进程多线程输出到同一个日志文件的实战案例
• 分析详解python多线程与多进程区别
• Python多线程与多进程相关知识总结
• Python多进程与多线程的使用场景详解
• Python 多进程、多线程效率对比