了解GIL对并发服务器性能的影响

2024-03-29 11:27:00 发布

您现在位置:Python中文网/ 问答频道 /正文

我对下面的代码有点困惑。我创建了一个并发服务器来查找fibonacci级数中的第n个数。服务器为每个客户机连接创建一个线程,线程将在fibonacci系列中查找fibonacci数的计算委托给一个单独的进程。你知道吗

服务器

# server.py
# Fibonacci Microservice

from socket import *
from fib import fib
from threading import Thread
from concurrent.futures import ProcessPoolExecutor as Pool


pool = Pool(4)


def fib_server(address):
    sock = socket(AF_INET, SOCK_STREAM)
    sock.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
    sock.bind(address)
    sock.listen(5)

    while True:
        client, addr = sock.accept()
        print("Connection", addr)
        Thread(target=fib_handler, args=(client,), daemon=True).start()


def fib_handler(client):
    while True:
        req =  client.recv(100)
        if not req:
            break
        n = int(req)
        future = pool.submit(fib, n)
        result = future.result()
        resp = str(result).encode('ascii') + b'\n'
        client.send(resp)
    print('Closed')


fib_server(('', 25000))

我还创建了一个示例客户机,它炮轰服务器来计算fibonacci数列中的第一个数。我还编写了一个围绕客户机的示例监视线程,以查找客户机能够在一秒钟内发送到服务器的请求数。你知道吗

客户:

# perf.py
# requests/sec of fast requests

from socket import *
import time
from threading import Thread

sock = socket(AF_INET, SOCK_STREAM)
sock.connect(('localhost', 25000))

n = 0


def monitor():
    global n
    while True:
        time.sleep(1)
        print(n, 'reqs/sec')
        n = 0


Thread(target=monitor).start()

while True:
    sock.send(b'1')
    resp = sock.recv(100)
    n += 1

现在,当我从一个终端运行客户机时,我看到每秒的请求速率非常高(~1900 req/sec)。但当我运行一个以上的客户端时,我发现每个客户端的reqs/sec减少了50%。你知道吗

运行一个客户端:

端子1

$ python perf2.py 
1891 reqs/sec
1863 reqs/sec
1813 reqs/sec

再运行一个客户端:

端子2

$ python perf2.py 
1098 reqs/sec
1080 reqs/sec
1080 reqs/sec

终端1

$ python perf2.py 
1891 reqs/sec
1863 reqs/sec
1813 reqs/sec 
1089 reqs/sec
1091 reqs/sec
1034 reqs/sec

运行另一个客户端

但是,当我打开另一个终端并提交一个请求以在fibonacci序列(CPU密集型作业)中查找非常大的数字时,我发现现有两个客户机的reqs/sec没有受到影响。你知道吗

端子3

$ nc localhost 25000
50
_

端子2

$ python perf2.py 
1098 reqs/sec
1080 reqs/sec
1080 reqs/sec
1078 reqs/sec

终端1

$ python perf2.py 
1891 reqs/sec
1863 reqs/sec
1813 reqs/sec 
1089 reqs/sec
1091 reqs/sec
1034 reqs/sec
1058 reqs/sec

这一切都是因为吉尔吗?有人能帮我理解我在这里错过了什么吗。你知道吗

Python版本3.6.5


Tags: frompyimport服务器clienttrue客户端客户机