中生成器的线程安全与优化在自动化测试多线程编程里, 保证数据结构的线程安全性是极其关键的。本文会探讨怎样在其中处置生成器以及迭代器的线程安全问题, 并且给出一些优化的想法。我们会深入剖析现有的代码, 进而进行改进, 用以解决潜在的性能问题。1. 现有代码分析import threading from functools import wraps class ThreadSafeIter: Takes an iterator/generator and makes it thread-safe by serializing call to the next method of given iterator/generator. def __init__(self, it): self.it it self.lock threading.Lock() if getattr(self.it, __next__, None) is None: # for py2 self._next self.it.next else: self._next self.it.__next__ # py3 def __iter__(self): return self def __next__(self): with self.lock: return self._next() def send(self, *args): with self.lock: return self.it.send(*args) next __next__ # for Python 2 def threadsafe_generator(f): A decorator that takes a generator function and makes it thread-safe. wraps(f) def g(*a, **kw): return ThreadSafeIter(f(*a, **kw)) return g1.1 类代码的关键部分是类, 该类借助.Lock达成了针对生成器以及迭代器的线程安全包裹。可是, 我们得留意某些潜在的性能受限之处:代码内运用了一个全局锁, 此全局锁或许致使并行性遭受限制, 原因在于全部线程均得按次序着等待去获取该锁。在高并发情形下, 运用锁会引进一定的性能开销, 这是由于在每次对生成器亦或是迭代器的next或者send方法进行访问之际, 皆要去获取以及释放锁。1.2 装饰器负责把生成器包装进类里, 让其具备线程安全特性的, 是装饰器 , 但是呢, 这样的一种实现说不定并不能够在所有不同的情形, 都能够确保是效率最为突出, 效果最优等情况 , 具备最高效率的 标点符号。2. 优化方向为了解决现有代码中存在的问题我们可以考虑以下优化方向2.1 细粒度锁我们能够试行着去减小锁的范围, 仅仅于必要的关键区域运用锁。在类当中, 我们能够思索在内部的关键区域运用锁, 而非整个方法, 且在send方法内部的关键区域运用锁。class ThreadSafeIter: def __next__(self): with self.lock: return next(self.it) def send(self, *args): with self.lock: return self.it.send(*args)这样做可以减小对锁的竞争提高并发性能。2.2 使用线程安全的数据结构思考可不可以采纳, 在其中所给出的, 具备线程安全特性的数据结构, 像是queue.Queue, 借此来防止手动去管理锁。这种数据结构是经过优化的, 能够更优良地应对并发访问。2.3 异步编程在面对那种有着大量并发请求需要去处理的情形时, 能够考虑采用异步编程的方式。借助库或者别的异步框架能够提升并发性能。2.4 GIL 问题要是代码于其中运行, 且 GIL 为性能瓶颈之处, 那就思量运用模块, 采用多个进程而非多线程。每个进程皆有自身的 GIL, 如此便能够更为优良好用地借助多核处理器。3. 优化后的代码以下是应用了上述优化方向的代码import threading from functools import wraps class ThreadSafeIter: def __init__(self, it): self.it it self.lock threading.Lock() def __iter__(self): return self def __next__(self): with self.lock: return next(self.it) def send(self, *args): with self.lock: return self.it.send(*args) next __next__ def threadsafe_generator(f): wraps(f) def g(*a, **kw): return ThreadSafeIter(f(*a, **kw)) return g于这个经过优化处理的版本里, 我们进行了细粒度锁的尝试, 且把锁的范围予以缩小, 至和 send 方法内在的关键地带。4. 测试对于测试经过优化之后的代码, 我们构建了一个简易的多线程测试场景, 此场景模拟了多个线程同时去访问线程安全的生成器, 测试里涵盖了模拟耗时操作, 目的是能够更切近实际应用中的情形来进行反映。def test_threadsafe_generator(): my_threadsafe_gen my_generator() def worker(): for value in my_threadsafe_gen: print(value) threads [] for _ in range(3): t threading.Thread(targetworker) threads.append(t) # 开始 for t in threads: t.start() # 等待所有线程结束 for t in threads: t.join() if __name__ __main__: test_threadsafe_generator()一个生成器由函数生成, 它很简单, 每次迭代的时候会去模拟一些存在耗时情况的操作。rator函数会创立多个线程, 在这些线程里面会同时对线程安全的生成器进行访问, 借助观察输出以及比较运行时间。5. 结论我们凭借针对生成器线程安全性所做的优化, 尝试着去解决, 让现有代码之中潜藏的问题得以解决, 并且提升了在多线程环境里的性能表现。可是, 优化取得的效果是要依据具体的使用场景才行, 那么所以, 在实际应用这个关头, 建议开展更有全面性的测试以及对于性能的评估。借着这个例子, 我们能够瞧见, 在面对并发编程作业之际, 细粒度锁以及去挑选适宜的数据结构属于关键要点。于优化代码时刻, 得依照实际给出的需求以及场景去挑选最为适配的解决办法。