news 2026/6/19 0:39:31

PythonGIL

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
PythonGIL

GIL 是什么?—— 背景与设计初衷

🔹 定义

GIL(Global Interpreter Lock)是 CPython 解释器(即官方 Python 实现)中的一个全局互斥锁(mutex),它确保同一时刻只有一个线程在执行 Python 字节码

注意:GIL 是CPython 特有,不是 Python 语言标准。
其他实现如 PyPy、Jython、IronPython没有 GIL

🔹 为什么需要 GIL?

在 1990 年代,Python 设计者面临两个选择:

  1. 为每个对象加细粒度锁(复杂、开销大)
  2. 加一个全局锁(简单、高效)

由于当时多核 CPU 尚未普及,且 CPython 内存管理(引用计数)不是线程安全的,若多个线程同时修改对象的引用计数(如ob_refcnt),会导致内存崩溃。

GIL 的核心目的

简化 CPython 的内存管理,避免多线程并发修改对象头导致解释器崩溃。

📌 关键点:GIL 保护的是解释器内部状态,不是你的业务数据!
即使有 GIL,你的多线程程序仍需自己加锁(如threading.Lock())来保证业务逻辑正确。

GIL 如何工作?—— 线程争抢与释放机制

GIL 释放时机(CPython 3.2+)

CPython 使用“协作式 + 抢占式”混合策略

情况是否释放 GIL
I/O 操作(如time.sleep(),file.read(),socket.recv()✅ 立即释放(让其他线程运行)
执行 N 条字节码后(默认 5ms,可调)✅ 主动释放,触发线程切换
C 扩展显式释放(如 NumPy、regex)✅ 在耗时 C 代码中释放 GIL
纯 Python 计算循环❌ 不释放(直到时间片用完)

Python 3.2 引入了“GIL 改进算法”(由 Antoine Pitrou 设计),避免线程“饥饿”:

  • 线程在请求 GIL 时会进入等待队列;
  • 当前线程释放 GIL 后,唤醒等待队列中的第一个线程
  • 防止某个线程反复抢到 GIL(旧版问题)。

GIL 对性能的影响

场景影响说明
CPU 密集型任务(如数学计算、图像处理)❌ 严重退化多线程无法并行,速度 ≈ 单线程
I/O 密集型任务(如 Web 请求、文件读写)✅ 几乎无影响线程在 I/O 时释放 GIL,其他线程可运行
混合任务⚠️ 部分受限I/O 部分可并发,计算部分串行

示例:4 核 CPU 上运行纯计算任务

  • 单线程:100% 利用 1 核
  • 4 线程:仍只用 1 核,总耗时几乎不变(甚至更慢,因线程切换开销)

如何绕过 GIL?—— 解决方案

方案原理适用场景工具/库
多进程(Multiprocessing)每个进程有独立 Python 解释器 + GILCPU 密集型multiprocessing,concurrent.futures.ProcessPoolExecutor
使用 C 扩展释放 GIL在 C 代码中手动释放 GIL数值计算、编解码NumPy, Pandas, OpenCV, Cython(with nogil
换用无 GIL 的 Python 实现底层无 GIL 限制特定项目PyPy(部分场景)、Jython(JVM 上)
异步 I/O(asyncio)单线程事件循环,避免线程切换I/O 密集型高并发FastAPI, aiohttp, asyncpg
将计算卸载到外部服务用 Rust/C++/Go 写微服务极致性能gRPC 调用、消息队列分发

最佳实践

  • I/O 密集 → 用asyncio或多线程
  • CPU 密集 → 用多进程或 C 扩展

GIL 争抢流程图(可视化)

文字描述流程

CPU-Bound TaskI/O OperationThread CThread BThread AGIL-LockCPU-Bound TaskI/O OperationThread CThread BThread AGIL-Lock启动三个线程 A: I/O密集, B/C: CPU密集持有 GIL 不释放(直到 ~5ms 时间片到期)同样持有 GIL ~5ms关键规则:- I/O 立即释放 GIL- CPU 任务每 ~5ms 释放一次- 等待线程按 FIFO 唤醒请求 GIL授予 GIL执行 I/O 操作 如 socket.recv()阻塞等待主动释放 GIL(因 I/O)唤醒等待队列头(Thread B)获取 GIL授予 GIL执行 CPU 密集任务(纯 Python 循环)时间片用完主动释放 GIL唤醒 Thread C获取 GIL授予 GIL执行 CPU 密集任务时间片用完释放 GILThread A 已完成 I/O,重新入队并被唤醒重新获取 GIL授予 GIL继续执行后续逻辑

六、常见误区澄清

误区正确理解
“GIL 保证我的数据线程安全”❌ GIL 不保护业务数据!仍需Lock
“多线程在 Python 中完全没用”❌ I/O 密集型场景多线程非常高效
“GIL 会在 Python 未来版本移除”❌ CPython 核心开发者多次表示:短期内不会移除(破坏兼容性太大)
“asyncio 能绕过 GIL”⚠️ asyncio 是单线程,不涉及 GIL 争抢,但也不能并行计算
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/13 2:33:45

PyTorch-CUDA镜像能否用于文物数字化修复

PyTorch-CUDA镜像能否用于文物数字化修复 在敦煌莫高窟的数字化保护项目中,研究人员面对一幅120008000像素的唐代壁画扫描图——表面剥落、颜料褪色、裂缝纵横。传统人工修复需要数月时间,而团队希望借助AI实现快速补全。此时,一个关键问题浮…

作者头像 李华
网站建设 2026/6/17 7:43:42

PyTorch-CUDA镜像对城市交通流量预测的支持

PyTorch-CUDA镜像如何重塑城市交通流量预测的开发范式 在一座千万级人口的城市中,每分钟都有数以万计的车辆穿梭于主干道与支路之间。交通指挥中心的大屏上,不断跳动的车流数据背后,是成百上千个传感器、摄像头和地磁线圈实时回传的信息洪流。…

作者头像 李华
网站建设 2026/6/17 2:41:10

PyTorch-CUDA-v2.7镜像在森林火灾预警中的潜力

PyTorch-CUDA-v2.7镜像在森林火灾预警中的潜力 当山林边缘的摄像头捕捉到一丝异常烟雾,系统必须在几秒内判断:是炊烟?是云雾?还是正在蔓延的火情?在森林火灾预警这场与时间赛跑的战役中,每一毫秒都至关重要…

作者头像 李华
网站建设 2026/6/13 2:53:25

MOVE_CORRESPONDING_ITAB

使用MOVE-CORRESPONDING时可以通过KEEPING TARGET LINES实现追加而不是覆盖。 SAP 的实例DemoREPORT demo_move_corresponding_itab.CLASS demo DEFINITION.PUBLIC SECTION.CLASS-METHODS main.PRIVATE SECTION.TYPES:c3 TYPE c LENGTH 3,BEGIN OF iline1,col1 TYPE c3,col2 TY…

作者头像 李华
网站建设 2026/6/13 11:20:08

ue入门项目:项目设置

能帮到你的话,就给个赞吧 😘 文章目录项目设置1.创建项目2.创建地图3.创建地图的相关配置1.创建项目只需要按如图所示点击创建即可2.创建地图1.文件-新建关卡-选择basic即可创建2.创建地图后必须点击保存才生效3.创建地图的相关配置玩家点击运行时 地图运…

作者头像 李华
网站建设 2026/6/18 12:36:07

PyTorch-CUDA-v2.7镜像在气候模拟预测中的尝试

PyTorch-CUDA-v2.7镜像在气候模拟预测中的尝试 在极端天气事件频发的今天,传统气候模型正面临前所未有的计算压力。一次高分辨率的全球环流模拟可能需要在超算上运行数天,而科研人员却急需更快地验证新算法、测试不同参数组合——这种矛盾催生了AI驱动的…

作者头像 李华