绕过 GIL 的雷区：并发 Python 的冒险指南

绕过 gil 的雷区：并发 python 的冒险指南

python
并发性
GIL
多线程
多进程

了解 GIL 的局限性

GIL 是 Python 中的一个机制，它一次只允许一个线程执行字节码。这对于内存管理和线程安全至关重要，但它也限制了多线程程序的并行性。GIL 主要影响 CPU 密集型任务，因为它们无法并行执行。

绕过 GIL 的技巧

有几种方法可以绕过 GIL 的限制：

使用多进程：进程是独立于 GIL 的，因此您可以使用多进程来执行 CPU 密集型任务。代码示例：

import multiprocessing

def task(n):
# 执行 CPU 密集型任务
return n * n

if __name__ == "__main__":
pool = multiprocessing.Pool(4)# 创建一个进程池
results = pool.map(task, range(10000))# 使用进程池执行任务
print(results)

登录后复制

使用 GIL 友好的库：某些库（如 concurrent.futures 和 multiprocessing.dummy) 是 GIL 友好的，它们使用协程或多进程来绕过 GIL。代码示例：

import concurrent.futures

def task(n):
# 执行 CPU 密集型任务
return n * n

if __name__ == "__main__":
with concurrent.futures.ThreadPoolExecutor() as executor:
results = executor.map(task, range(10000))# 使用 GIL 友好的线程池执行任务
print(results)

登录后复制

使用 C 扩展：GIL 仅适用于 Python 字节码，因此您可以使用 C 扩展来执行 CPU 密集型任务。不过，这需要更高级别的编程技巧。代码示例：

#include <Python.h>

static PyObject* task(PyObject* self, PyObject* args) {
int n;
if (!PyArg_ParseTuple(args, "i", &n)) {
return NULL;
}
// 执行 CPU 密集型任务
int result = n * n;
return Py_BuildValue("i", result);
}

static PyMethodDef methods[] = {
{"task", task, METH_VARARGS, "Task function"},
{NULL, NULL, 0, NULL}
};

static struct PyModuleDef module = {
PyModuleDef_HEAD_INIT,
"mymodule",
NULL,
-1,
methods
};

PyMODINIT_FUNC PyInit_mymodule(void) {
return PyModule_Create(&module);
}

登录后复制

使用 asyncio：asyncio 是 Python 的异步 I/O 库，它使用协程来绕过 GIL。代码示例：

import asyncio

async def task(n):
# 执行 CPU 密集型任务
return n * n

async def main():
tasks = [task(i) for i in range(10000)]
results = await asyncio.gather(*tasks)# 并行执行任务
print(results)

if __name__ == "__main__":
asyncio.run(main())

登录后复制

注意事项

在绕过 GIL 时，需要注意以下几点：