Python全局解释器锁(GIL)详解

Posted on Views:

GIL的全称是Global Interpreter Lock，中文通常称为全局解释器锁。它是传统CPython解释器中的一把全局互斥锁，用于控制同一时刻哪些线程可以执行Python字节码。理解GIL的关键是：Python可以创建多个线程，但在传统的GIL模式下，多个线程通常不能同时执行Python代码来实现多核CPU并行计算。

1.GIL到底是什么

可以把GIL理解为一个公共的执行令牌。

5a0c805bb8af2fbb5f0b51485f24dd12.png

需要区分两件事：

  • 并发（Concurrency）：多个任务在一段时间内交替推进。
  • 并行（Parallelism）：多个任务在同一时刻真正同时执行。

传统CPython中的GIL主要限制的是多个线程执行Python代码时的CPU并行性，而不是禁止创建线程或执行所有形式的并行工作。

2.为什么Python需要GIL

传统CPython的一个重要设计背景是内存管理，尤其是对象引用计数。

例如：

a = []b = a

此时a和b引用同一个列表对象。CPython传统上会通过引用计数等机制管理对象的生命周期。当多个线程同时修改对象的引用关系时，如果缺少适当的同步机制，可能引发竞态条件，导致引用计数不正确或内存管理问题。

GIL的作用之一，就是简化解释器内部状态和对象管理的线程安全控制。

但要注意：GIL不等于所有Python操作都是线程安全的。即使有GIL，多个线程对共享业务数据进行复合操作时，仍然可能发生竞态条件。

例如：

counter += 1

不能仅仅因为存在GIL，就认定多个线程同时执行这条语句一定安全。涉及共享状态时，必要时仍应使用threading.Lock等同步机制。

3.GIL对多线程性能有什么影响

主要看任务属于CPU密集型还是I/O密集型。

3.1 CPU密集型任务：多线程通常没有明显收益

例如计算大量平方和：

def calculate():    total = 0    for i in range(10_000_000):        total += i * i    return total

假设有两个线程分别执行这项计算：

  • 线程A获得GIL，执行Python字节码。
  • 线程B等待获得GIL，暂时不能执行Python字节码。
  • 线程A释放或交出GIL后，线程B才有机会继续执行。

因此，两个线程通常不能利用两个CPU核心，同时执行这段纯Python计算代码。此外，线程切换、锁竞争也会带来额外开销，所以多线程版本可能比单线程更慢。

3.2 I/O密集型任务：多线程通常有效

例如同时请求多个网站、读取文件或等待数据库响应。当线程等待网络响应时，通常可以释放GIL，让其他线程执行Python代码。这样，多个请求的等待时间就可以重叠，而不是一个请求完全结束后再开始下一个。

任务类型 多线程效果 主要原因
大量纯Python数学计算 通常收益有限 GIL限制多核并行执行Python代码
网络请求 通常有效 等待网络时可以切换线程
文件读写 通常有效 I/O等待期间其他线程可以运行
数据库请求 通常有效 等待数据库响应时其他任务可以推进
NumPy等原生计算 视具体操作而定 部分原生代码会释放GIL

最后一行尤其重要：即使程序使用GIL，某些C扩展也可以在释放GIL后执行原生计算，因此不能简单地认为Python线程永远无法利用多核。

4.如何解决GIL带来的性能限制

  • 方案一：多进程multiprocessing 适合CPU密集型

每个进程拥有独立的Python解释器和通常独立的GIL，可以在多个CPU核心上并行执行计算。缺点是进程间通信、数据序列化和进程创建会带来额外开销。

  • 方案二：多线程threading 适合I/O密集型

适用于网络爬虫、并发API请求、文件操作等场景。通常不需要为每个任务创建独立进程。

  • 方案三：使用无GIL版本的CPython

从Python 3.13开始，CPython提供了可选的free-threaded构建版本，允许在关闭GIL的情况下尝试多线程并行执行。Python 3.14进一步完善了这一支持，但它仍然是需要考虑兼容性和性能差异的可选模式。

3.15+ 默认无GIL全局锁问题。

记住这条实践原则：

  • CPU密集型纯Python计算：优先考虑multiprocessing。
  • I/O密集型任务：优先考虑threading或asyncio。