Python 多线程与多进程：实战案例剖析，掌握并发编程的应用技巧

python 多线程与多进程：实战案例剖析，掌握并发编程的应用技巧

一、python 多线程与多进程概述

1. 多线程

多线程是一种并发编程技术，允许一个程序同时执行多个任务。在Python中，可以使用 threading 模块来创建和管理线程。线程共享程序的内存空间，因此可以轻松地共享数据。但是，多线程编程也存在一些挑战，例如线程安全问题和死锁问题。

2. 多进程

多进程是一种并发编程技术，允许一个程序同时执行多个任务。在Python中，可以使用 multiprocessing 模块来创建和管理进程。进程独立于程序的内存空间，因此不会存在线程安全问题。但是，多进程编程也存在一些挑战，例如进程间通信和同步问题。

二、实战案例一：使用多线程加速图像处理

需求: 有一个包含1000张图像的文件夹，需要对每张图像进行处理，包括调整大小、锐化和添加水印等操作。

解决方案:可以使用多线程来加速图像处理。具体步骤如下：

首先，将图像文件列表保存在一个列表中。
然后，使用 threading 模块创建线程池。
接下来，将图像处理任务分配给线程池中的线程。
最后，等待所有线程完成任务后，将处理后的图像保存到文件中。

通过使用多线程，可以大幅缩短图像处理的时间。

import threading
import os
from PIL import Image, ImageFilter

def process_image(image_path):
image = Image.open(image_path)
image = image.resize((256, 256))
image = image.filter(ImageFilter.SHARPEN)
image.save(image_path)

def main():
# 获取图像文件列表
image_files = os.listdir("images")

# 创建线程池
pool = ThreadPool(4)

# 将图像处理任务分配给线程池
for image_file in image_files:
pool.submit(process_image, ("images/" + image_file, ))

# 等待所有线程完成任务
pool.close()
pool.join()

if __name__ == "__main__":
main()

登录后复制

三、实战案例二：使用多进程加速科学计算

需求: 需要进行一个科学计算，涉及到大量的浮点计算。

解决方案:可以使用多进程来加速科学计算。具体步骤如下：

首先，将科学计算任务分解成多个子任务。
然后，使用 multiprocessing 模块创建进程池。
接下来，将子任务分配给进程池中的进程。
最后，等待所有进程完成任务后，将子任务的结果汇总起来。

通过使用多进程，可以大幅缩短科学计算的时间。

import multiprocessing
import math

def compute_pi(n):
result = 0
for i in range(n):
result += 4 * (-1)**i / (2*i + 1)
return result

def main():
# 分解科学计算任务
n = 100000000
num_processes = 4
sub_tasks = [n // num_processes] * num_processes

# 创建进程池
pool = multiprocessing.Pool(num_processes)

# 将子任务分配给进程池
results = pool.map(compute_pi, sub_tasks)

# 等待所有进程完成任务
pool.close()
pool.join()

# 汇总子任务的结果
pi = sum(results)

print("π =", pi)

if __name__ == "__main__":
main()

登录后复制