python网络编程中socket、select和poll的简单使用

2019独角兽企业重金招聘Python工程师标准>>>

网络编程的基本组件是socket[1]&＃xff0c;包括&＃xff1a;服务端socket和客户端socket。其中客户端socket只是简单的连接、完成事务、断开连接&＃xff0c;而服务端socket流程多一些。

一个小型服务器

v1-server

#!/usr/bin/env python # coding&＃61;utf-8 import sockets&＃61;socket.socket() host&＃61;socket.gethostname() port&＃61;8889 s.bind((host,port))s.listen(10) while True:conn,addr&＃61;s.accept()print "got conn from ",addrconn.send("thx for conn")conn.close()

服务端的accept方法会阻塞直到客户端连上。

一个小型客户机

v1-client

#!/usr/bin/env python # coding&＃61;utf-8 import sockets&＃61;socket.socket() host&＃61;socket.gethostname() port&＃61;8889s.connect((host,port)) print s.recv(1024) 1 使用SocketServer框架的服务器

复杂一些的场景可以使用SocketServer模块。在其设计中&＃xff0c;server每收到一个请求&＃xff0c;就会实例化一个请求处理程序。

v2-SocketServer

# 和v1-client对应 from SocketServer import TCPServer,StreamRequestHandler class Handler(StreamRequestHandler):def handle(self):addr&＃61;self.request.getpeername()print &＃39;got connectino from &＃39;,addrself.wfile.write(&＃39;thx for you connecting&＃39;)server&＃61;TCPServer((&＃39;&＃39;,8889),Handler) server.serve_forever() 2 多个连接

上述两种方案server一次只能处理一个连接&＃xff0c;

要想同时处理多个连接&＃xff0c;有三种方法&＃xff1a;

forking
threading
asnchronous I/O

其中threading方式下&＃xff0c;每个socket交给一个线程处理&＃xff0c;不同的socket通信过程互不干扰。

v3-forking.py

from SocketServer import TCPServer,StreamRequestHandler, ForkingMixInclass Server(ForkingMixIn, TCPServer): passclass Handler(StreamRequestHandler):def handle(self):addr&＃61;self.request.getpeername()print &＃39;got connectino from &＃39;,addrself.wfile.write(&＃39;thx for you connecting&＃39;)server&＃61;Server((&＃39;&＃39;,8889),Handler) server.serve_forever()

v3-threading.py

from SocketServer import TCPServer,StreamRequestHandler, ThreadingMixInclass Server(ThreadingMixIn,TCPServer): passclass Handler(StreamRequestHandler):def handle(self):addr&＃61;self.request.getpeername()print &＃39;got connectino from &＃39;,addrself.wfile.write(&＃39;thx for you connecting&＃39;)server&＃61;Server((&＃39;&＃39;,8889),Handler) server.serve_forever()

thread方式下&＃xff0c;每次一个客户成功连接到服务器&＃xff0c;服务器都会创建一个新线程&＃xff0c;如果黑客控制许多client恶意连接服务器那很可能耗尽系统资源。怎么办呢&＃xff1f;

[6]给出了一个简单的方案&＃xff1a;线程池&＃xff08;pre-allocated pool&＃xff09;

from socketserver import StreamRequestHandler, TCPServerclass EchoHandler(StreamRequestHandler):def handle(self):print(&＃39;Got connection from&＃39;, self.client_address)# self.rfile is a file-like object for readingfor line in self.rfile:# self.wfile is a file-like object for writingself.wfile.write(line)&＃39;&＃39;&＃39;old: spawn a new process or thread on each client connection if __name__ &＃61;&＃61; &＃39;__main__&＃39;:serv &＃61; TCPServer((&＃39;&＃39;, 20000), EchoHandler)serv.serve_forever() &＃39;&＃39;&＃39;if __name__ &＃61;&＃61; &＃39;__main__&＃39;:from threading import ThreadNWORKERS &＃61; 16serv &＃61; TCPServer((&＃39;&＃39;, 20000), EchoHandler)for n in range(NWORKERS):t &＃61; Thread(target&＃61;serv.serve_forever)t.daemon &＃61; Truet.start()serv.serve_forever()

在上面的代码中&＃xff0c;限定了线程数量为NWORKERS个。避免了前面的问题。

3 使用select的简单服务器

服务器&＃xff1a;v4-select.py

#!/usr/bin/env python # coding&＃61;utf-8 import socket, select s&＃61;socket.socket() host&＃61;socket.gethostname() port&＃61;8889 s.bind((host,port))s.listen(5) inputs&＃61;[s] print &＃39;s&＃39;,s while True:rs,ws,es&＃61;select.select(inputs,[],[]) # read write except result#rs,ws,es&＃61;select.select(inputs,[],[],0) print &＃39;inputs &＃39;,inputsfor r in rs:print &＃39;rs &＃39;,len(rs),rsif r is s:c, addr &＃61; s.accept()print &＃39;Got connection from&＃39;,addrc.send(&＃39;connect to server successful&＃39;)inputs.append(c)print &＃39;r,c &＃39;,r,celse:try:data &＃61; r.recv(1024)disconnected &＃61; not dataexcept:disconnected &＃61; Trueif disconnected:print r.getpeername(),&＃39;disconnected&＃39;inputs.remove(r)else:print data

客户端&＃xff1a;v4-client.py

#!/usr/bin/env python # coding&＃61;utf-8 import sockets&＃61;socket.socket() host&＃61;socket.gethostname() port&＃61;8889s.connect((host,port)) print socket.gethostname() s.send("hi, i am "&＃43;socket.gethostname()) print s.recv(1024)

运行&＃xff1a;

启动server

$ python v4-select.py s inputs [] rs 1 [] Got connection from (&＃39;127.0.0.1&＃39;, 44464) r,c inputs [, ] rs 1 [] hi, i am ubuntu inputs [, ] rs 1 [] (&＃39;127.0.0.1&＃39;, 44464) disconnected

启动client

$ python v4-client.py ubuntu connect to server successful

python中提供的select.select(rlist, wlist, xlist[, timeout])是Unix中select()系统调用的一个接口。[4]

rlist、wlist、xlist都是waitable对象序列&＃xff0c;分别表示&＃xff1a;输入、输出以及异常情况的序列。

&＃39;waitable objects’: either integers representing file descriptors or objects with a parameterless method named fileno() returning such an integer

rlist: wait until ready for reading wlist: wait until ready for writing xlist: wait for an “exceptional condition”

当不提供可选参数timeout的时候&＃xff0c;select会阻塞&＃xff0c;直到至少一个文件描述符为行动做好了准备&＃xff0c;才会继续运行。

当给定timeout秒数&＃xff0c;select阻塞时间不会超过timeout秒。如果超时仍然没有准备好的文件描述符就会返回空结果。

返回值是3个list组成的tuple&＃xff0c;这3个list分别是3个输入list的子集。

当timeout为0&＃xff0c;会给出一个连续的poll&＃xff08;不阻塞&＃xff09;&＃xff0c;设置为0后可以看到while True函数体疯狂循环。

[1]中有些话都是直接翻译文档的&＃xff0c;看完跟不看一样&＃xff0c;略坑。

从执行的输出可以看到&＃xff1a;

server端的&＃xff0c;inputs列表开始只包含socket对象4c

第一次循环中&＃xff0c;select从inputs中找到准备好的子集&＃xff1a;4c

4c调用accept成功之后生成了socket对象84&＃xff0c;并且被inputs列表添加.

第二次循环中&＃xff0c;select从inputs中找到准备好的子集&＃xff1a;84

84接收消息

这只是一个最简单的演示&＃xff0c;所以

[2]中的一些概念和[1]不同&＃xff0c;这令人困惑。

[1]认为&＃xff1a;

同步的服务器解决方案&＃xff1a;server一次只能连接处理一个client

要实现多个连接&＃xff0c;可以借助forking分出多个进程&＃xff0c;并行处理多个socket连接。缺点是浪费资源。

或者用threading分多个线程&＃xff0c;每个线程处理一个socket连接。缺点是需要进程同步。

异步IO可以避免上述问题&＃xff0c;基本机制是select模块的select函数。

对应的[2]中认为&＃xff1a;

同步/异步主要针对C端&＃xff0c;阻塞/非阻塞主要针对S端。同步IO和异步IO的区别就在于&＃xff1a;数据访问的时候进程是否阻塞&＃xff01; 阻塞IO和非阻塞IO的区别就在于&＃xff1a;应用程序的调用是否立即返回&＃xff01;Linux下的五种I/O模型 1)阻塞I/O&＃xff08;blocking I/O&＃xff09; 2)非阻塞I/O &＃xff08;nonblocking I/O&＃xff09; 3) I/O复用(select 和poll) &＃xff08;I/O multiplexing&＃xff09; 4)信号驱动I/O &＃xff08;signal driven I/O (SIGIO)&＃xff09; 5)异步I/O &＃xff08;asynchronous I/O (the POSIX aio_functions)&＃xff09;前四种都是同步&＃xff0c;只有最后一种才是异步IO。

概念混乱不清&＃xff0c;挖坑待辨析。

4 使用poll的简单服务器

v4-poll.py

#!/usr/bin/env python # coding&＃61;utf-8 import socket, select s&＃61;socket.socket() host&＃61;socket.gethostname() port&＃61;8889 s.bind((host,port))fdmap&＃61;{s.fileno():s} s.listen(5) # 得到poll对象 p&＃61;select.poll() p.register(s)while True:events&＃61;p.poll()for fd,event in events:if fd&＃61;&＃61;s.fileno():c,addr &＃61; s.accept()print &＃39;got connection from &＃39;,addrp.register(c)fdmap[c.fileno()] &＃61; celif event & select.POLLIN:data&＃61;fdmap[fd].recv(1024)if not data:print fdmap[fd].getpeername(),&＃39;disconnected&＃39;p.unregister(fd)del fdmap[fd]else: print data

4.1 select和poll的异同

[4]中提到&＃xff1a;

The poll() system call, supported on most Unix systems, provides better scalability for network servers that service many, many clients at the same time. poll() scales better because the system call only requires listing the file descriptors of interest, while select() builds a bitmap, turns on bits for the fds of interest, and then afterward the whole bitmap has to be linearly scanned again. select() is O(highest file descriptor), while poll() is O(number of file descriptors).

区别在于poll() syscall的scalability更好。 poll()只维护感兴趣的fd列表&＃xff0c;但是select() syscall通过bitmap来维护整个fd列表。poll()和select()的时间复杂度分别为O(fd数目)和O(最大fd数目).

[5]中认为&＃xff1a;

select最早于1983年出现在4.2BSD中&＃xff0c;它通过一个select()系统调用来监视多个文件描述符的数组。当select()返回后&＃xff0c;该数组中就绪的文件描述符便会被内核修改标志位&＃xff0c;使得进程可以获得这些文件描述符从而进行后续的读写操作。

poll在1986年诞生于System V Release 3&＃xff0c;它和select在本质上没有多大差别&＃xff0c;但是poll没有最大文件描述符数量的限制。

??说好的scalability区别呢&＃xff1f;

poll和select同样存在一个缺点就是&＃xff0c;包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间&＃xff0c;而不论这些文件描述符是否就绪&＃xff0c;它的开销随着文件描述符数量的增加而线性增大。

直到Linux2.6才出现了由内核直接支持的实现方法&＃xff0c;那就是epoll&＃xff0c;它几乎具备了之前所说的一切优点&＃xff0c;被公认为Linux2.6下性能最好的多路I/O就绪通知方法。相比select和poll有如下改进&＃xff1a;