本文目录


  • 并发编程的基本概念

  • 单线程VS多线程VS多历程

  • 性能对比功效总结

前言

作为进阶系列的一个分支「并发编程」,我以为这是每个程序员都应该会的。

并发编程 这个系列,我准备了快要一个星期,从知识点梳理,到思索要举哪些例子才气加倍让人容易吃透这些知识点。希望出现出来的效果真能如想象中的那样,对小白也一样的友好。

昨天大致整理了下,这个系列我也许会讲如下内容(后期可能调整):

对于并发编程,Python的实现,总结了一下,大致有如下三种方式:

  • 多线程

  • 多历程

  • 协程(生成器)

在之后的章节里,将陆陆续续地给人人先容到这三个知识点。

并发编程的基本概念

在最先解说理论知识之前,先过一下几个基本概念。虽然咱是进阶教程,但我也希望写得更小白,更通俗易懂。

串行:一个人在统一时间段只醒目一件事,譬如吃完饭才气看电视;
并行:一个人在统一时间段可以干多件事,譬如可以边用饭边看电视;

在Python中,多线程 和 协程 虽然是严酷上来说是串行,但却比一样平常的串行程序执行效率高得很。
一样平常的串行程序,在程序壅闭的时刻,只醒目等着,不能去做其他事。就好像,电视上播完正剧,进入广告时间,我们却不能去趁广告时间是吃个饭。对于程序来说,这样做显然是效率极低的,是不合理的。

固然,学完这个课程后,我们就明白,行使广告时间去做其他事,天真放置时间。这也是我们多线程协程 要帮我们要完成的事情,内部合理调剂义务,使得程序效率最大化。

虽然 多线程 和 协程 已经相当智能了。但照样不够高效,最高效的应该是一心多用,边看电视边用饭边谈天。这就是我们的 多历程才气做的事了。

为了更辅助人人加倍直观的明白,在网上找到两张图,来生动形象的注释了多线程和多历程的区别。(侵删)

  • 多线程,交替执行,另一种意义上的串行。

  • 多历程,并行执行,真正意义上的并发。

单线程VS多线程VS多历程

文字总是苍白无力的,千言万语不如几行代码来得力大无穷。

接下来,让我们一起用代码来测试一下,单线程、多线程、多历程到底性能差若干呢?

首先,准备环境,我的实验环境设置如下:

操作系统 CPU核数 内存(G) 硬盘
CentOS 7.2 24核 32 机械硬盘

注重
以下代码,若要明白,对小白有如下知识点要求:

  1. 装饰器的运用

  2. 多线程的基本使用

  3. 多历程的基本使用

    ,

    以太坊数据网

    www.326681.com采用以太坊区块链高度哈希值作为统计数据,联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口,支持多语言接入。

    ,

固然,看不懂也没关系,主要最后的结论,能让人人对单线程、多线程、多历程在实现效果上有个大要清晰的熟悉,到达这个效果,本文的使命也就完成了,等到最后,学完整个系列,不妨再转头来明白也许会有更深刻的明白。

下面我们来看看,单线程,多线程和多历程,在运行中事实孰强孰弱。

最先对比之前,首先界说四种类型的场景

  • CPU盘算麋集型

  • 磁盘IO麋集型

  • 网络IO麋集型

  • 【模拟】IO麋集型

为什么是这几种场景,这和多线程 多历程的适用场景有关。结论里,我再说明。

 1# CPU盘算麋集型
2def count(x=1, y=1):
3    # 使程序完成150万盘算
4    c = 0
5    while c < 500000:
6        c += 1
7        x += x
8        y += y
9
10
11# 磁盘读写IO麋集型
12def io_disk():
13    with open("file.txt", "w") as f:
14        for x in range(5000000):
15            f.write("python-learning\n")
16
17
18# 网络IO麋集型
19header = {
20    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
21url = "https://www.tieba.com/"
22
23def io_request():
24    try:
25        webPage = requests.get(url, headers=header)
26        html = webPage.text
27        return
28    except Exception as e:
29        return {"error": e}
30
31
32# 【模拟】IO麋集型
33def io_simulation():
34    time.sleep(2)

比拼的指标,我们用时间来考量。时间破费得越少,说明效率越高。

为了利便,使得代码看起来,加倍简练,我这里先界说是一个简朴的时间计时器 的装饰器。
若是你对装饰器还不是很领会,也没关系,你只要知道它是用于 盘算函数运行时间的器械就可以了。

 1def timer(mode):
2    def wrapper(func):
3        def deco(*args, **kw):
4            type = kw.setdefault('type', None)
5            t1=time.time()
6            func(*args, **kw)
7            t2=time.time()
8            cost_time = t2-t1
9            print("{}-{}破费时间:{}秒".format(mode, type,cost_time))
10        return deco
11    return wrapper

第一步,先来看看单线程的

 1@timer("【单线程】")
2def single_thread(func, type=""):
3    for i in range(10):
4              func()
5
6# 单线程
7single_thread(count, type="CPU盘算麋集型")
8single_thread(io_disk, type="磁盘IO麋集型")
9single_thread(io_request,type="网络IO麋集型")
10single_thread(io_simulation,type="模拟IO麋集型")

看看效果

1【单线程】-CPU盘算麋集型破费时间:83.42633867263794
2【单线程】-磁盘IO麋集型破费时间:15.641993284225464
3【单线程】-网络IO麋集型破费时间:1.1397218704223633
4【单线程】-模拟IO麋集型破费时间:20.020972728729248

第二步,再来看看多线程的

 1@timer("【多线程】")
2def multi_thread(func, type=""):
3    thread_list = []
4    for i in range(10):
5        t=Thread(target=func, args=())
6        thread_list.append(t)
7        t.start()
8    e = len(thread_list)
9
10    while True:
11        for th in thread_list:
12            if not th.is_alive():
13                e -= 1
14        if e <= 0:
15            break
16
17# 多线程
18multi_thread(count, type="CPU盘算麋集型")
19multi_thread(io_disk, type="磁盘IO麋集型")
20multi_thread(io_request, type="网络IO麋集型")
21multi_thread(io_simulation, type="模拟IO麋集型")

看看效果

1【多线程】-CPU盘算麋集型破费时间:93.82986998558044
2【多线程】-磁盘IO麋集型破费时间:13.270896911621094
3【多线程】-网络IO麋集型破费时间:0.1828296184539795
4【多线程】-模拟IO麋集型破费时间:2.0288875102996826

第三步,最后来看看多历程

 1@timer("【多历程】")
2def multi_process(func, type=""):
3    process_list = []
4    for x in range(10):
5        p = Process(target=func, args=())
6        process_list.append(p)
7        p.start()
8    e = process_list.__len__()
9
10    while True:
11        for pr in process_list:
12            if not pr.is_alive():
13                e -= 1
14        if e <= 0:
15            break
16
17# 多历程
18multi_process(count, type="CPU盘算麋集型")
19multi_process(io_disk, type="磁盘IO麋集型")
20multi_process(io_request, type="网络IO麋集型")
21multi_process(io_simulation, type="模拟IO麋集型")

看看效果

1【多历程】-CPU盘算麋集型破费时间:9.082211017608643
2【多历程】-磁盘IO麋集型破费时间:1.287339448928833
3【多历程】-网络IO麋集型破费时间:0.13074755668640137
4【多历程】-模拟IO麋集型破费时间:2.0076842308044434

性能对比功效总结

将效果汇总一下,制成表格。

种类 CPU
盘算麋集型
磁盘
IO麋集型
网络
IO麋集型
模拟
IO麋集型
单线程 83.42 15.64 1.13 20.02
多线程 93.82 13.27 0.18 2.02
多历程 9.08 1.28 0.13 2.01

我们来剖析下这个表格。

首先是CPU麋集型,多线程以对比单线程,不仅没有优势,显然还由于要不停的加锁释放GIL全局锁,切换线程而破费大量时间,效率低下,而多历程,由于是多个CPU同时举行盘算事情,相当于十个人做一个人的作业,显然效率是成倍增长的。

然后是IO麋集型,IO麋集型可以是磁盘IO网络IO数据库IO等,都属于统一类,盘算量很小,主要是IO等待时间的虚耗。通过考察,可以发现,我们磁盘IO,网络IO的数据,多线程对比单线程也没体现出很大的优势来。这是由于我们程序的的IO义务不够繁重,以是优势不够显著。

以是我还加了一个「模拟IO麋集型」,用sleep来模拟IO等待时间,就是为了体现出多线程的优势,也能让人人加倍直观的明白多线程的事情历程。单线程需要每个线程都要sleep(2),10个线程就是20s,而多线程,在sleep(2)的时刻,会切换到其他线程,使得10个线程同时sleep(2),最终10个线程也就只有2s.

可以得出以下几点结论

  • 单线程总是最慢的,多历程总是最快的。

  • 多线程适合在IO麋集场景下使用,譬如爬虫,网站开发等

  • 多历程适合在对CPU盘算运算要求较高的场景下使用,譬如大数据剖析,机械学习等

  • 多历程虽然总是最快的,然则纷歧定是最优的选择,由于它需要CPU资源支持下才气体现优势