运维学python之爬虫中级篇（四）网络编程

网络编程&＃xff0c;对所有开发语言来说都是一样的&＃xff0c;python也不例外。使用python进行网络编程时&＃xff0c;其实是在python程序本身的进程内&＃xff0c;连接到指定服务器进程通信端口进行通信&＃xff0c;所以网络通信也可以称作进程间通信。

提到网络编程&＃xff0c;我们就不得不提socket&＃xff08;套接字&＃xff09;&＃xff0c;打开一个socket需要知道目标ip和端口&＃xff0c;再指定协议类型即可&＃xff0c;应用程序通常通过"套接字"向网络发出请求或者应答网络请求&＃xff0c;使主机间或者一台计算机上的进程间可以通讯。python提供了两个socket模块&＃xff1a;

• 低级别的网络服务支持基本的 Socket&＃xff0c;它提供了标准的 BSD Sockets API&＃xff0c;可以访问底层操作系统Socket接口的全部方法。
• 高级别的网络服务模块 SocketServer&＃xff0c; 它提供了服务器中心类&＃xff0c;可以简化网络服务器的开发。

1.1 socket类型

创建socket格式&＃xff1a;socket([family[, type[, proto]]])

• family: 套接字家族可以使AF_UNIX或者AF_INET
• type: 套接字类型可以根据是面向连接的还是非连接分为SOCK_STREAM或SOCK_DGRAM
• protocol: 一般不填默认为0.

1.2 socket对象内建方法

图片来源

2.1 TCP编程

网络编程包括服务端和客户端两部分&＃xff0c;主动发起连接的是客户端&＃xff0c;被动响应的叫服务端。
TCP服务端创建和运行步骤如下&＃xff1a;

• 创建socket&＃xff0c;绑定本地ip和端口&＃xff1b;
• 开始监听&＃xff1b;
• 不断接收客户端请求&＃xff1b;
• 接收数据后&＃xff0c;发送给对方数据&＃xff1b;
• 传输完毕&＃xff0c;关闭socket

# -*- coding: utf-8 -*-import time
import socket
import threadingdef dealtcp(sock, addr):"""接收传来的数据&＃xff0c;并发送给对方数据"""print(&＃39;Accept new connection from %s:%s&＃39; % addr)# 发送数据sock.send(b&＃39;Hello, I am server&＃39;)# 循环接收数据while True:# 每次接收1024字节data &＃61; sock.recv(1024)# 等待1stime.sleep(1)# 如果data为空或客户端发送过来exit循环中断if not data or data.decode(&＃39;utf-8&＃39;) &＃61;&＃61; &＃39;exit&＃39;:breakprint(&＃39;客户端发来的数据&＃xff1a;%s&＃39; % data.decode(&＃39;utf-8&＃39;))sock.send((&＃39;Hello, %s!&＃39; % data.decode(&＃39;utf-8&＃39;)).encode(&＃39;utf-8&＃39;))# 关闭socketsock.close()print(&＃39;Connection from %s:%s closed.&＃39; % addr)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:# 创建一个基于IPv4和TCP协议的Socket&＃xff1a;s &＃61; socket.socket(socket.AF_INET, socket.SOCK_STREAM)# 绑定本地ip和端口s.bind((&＃39;127.0.0.1&＃39;, 8000))# 监听端口&＃xff0c;传入的参数表示等待连接的最大连接数s.listen(10)print(&＃39;Waiting for connection...&＃39;)# 等待连接while True:# accept等待连接进入&＃xff0c;返回新的socket和ip:端口sock, addr &＃61; s.accept()# 创建线程执行t &＃61; threading.Thread(target&＃61;dealtcp, args&＃61;(sock, addr))# 启动线程t.start()


TCP客户端创建和运行步骤如下&＃xff1a;

• 创建socket
• 连接服务端接收发送数据
• 传输完毕&＃xff0c;关闭socket

# -*- coding: utf-8 -*-
import socket# 创建基于tcp和ipv4协议的socket
s &＃61; socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 与服务端建立连接
s.connect((&＃39;127.0.0.1&＃39;, 8000))
print(&＃39;接收到的服务端数据&＃xff1a;%s&＃39; % s.recv(1024).decode(&＃39;utf-8&＃39;))
# 分别发送三个数据
for data in [b&＃39;client1&＃39;, b&＃39;client2&＃39;, b&＃39;client3&＃39;]:s.send(data)print(&＃39;服务端又返回来的数据&＃xff1a;%s &＃39; % s.recv(1024).decode(&＃39;utf-8&＃39;))
s.send(b&＃39;exit&＃39;)
# 关闭socket
s.close()


运行结果如下&＃xff1a;
服务端

Waiting for connection...
Accept new connection from 127.0.0.1:61544
客户端发来的数据&＃xff1a;client1
客户端发来的数据&＃xff1a;client2
客户端发来的数据&＃xff1a;client3
Connection from 127.0.0.1:61544 closed.

客户端

接收到的服务端数据&＃xff1a;Hello, I am server
服务端又返回来的数据&＃xff1a;Hello, client1!
服务端又返回来的数据&＃xff1a;Hello, client2!
服务端又返回来的数据&＃xff1a;Hello, client3!

2.2 UDP编程

TCP通讯是可靠连接的过程&＃xff0c;而UDP则是面向无连接的协议&＃xff0c;不需要建立连接&＃xff0c;只需要知道对方ip和端口&＃xff0c;就直接发送数据&＃xff0c;也不关心是否到达&＃xff0c;也正是如此&＃xff0c;UDP速度比TCP快。使用UDP也有客户端和服务端。
服务端创建和运行&＃xff1a;

• 创建socket&＃xff0c;绑定ip和端口
• 直接发送和接收数据
• 关闭socket

# -*- coding: utf-8 -*-import socket# 创建基于ipv4和UDP协议的socket
s &＃61; socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 绑定IP和端口
s.bind((&＃39;127.0.0.1&＃39;, 9000))
print(&＃39;Bind udp on 9000...&＃39;)
while True:# recvfrom为接收UDP数据,接收到数据和客户端ip&＃xff1a;端口data, addr &＃61; s.recvfrom(1024)print(&＃39;Received from %s:%s&＃39; % addr)# sendto发送UDP数据&＃xff0c;注意sendto发送格式为将数据发送到套接字&＃xff0c;address是形式为&＃xff08;ipaddr&＃xff0c;port&＃xff09;的元组s.sendto(b&＃39;Hello, %s&＃39; % data, addr)


客户端&＃xff1a;

# -*- coding: utf-8 -*-import socket
# 创建基于ipv4和UDP协议的socket
s &＃61; socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 直接发送和接收数据
for data in [b&＃39;client1&＃39;, b&＃39;client2&＃39;]:s.sendto(data, (&＃39;127.0.0.1&＃39;, 9000))print(&＃39;Received %s&＃39; % s.recv(1024).decode(&＃39;utf-8&＃39;))
s.close()


返回结果
服务端&＃xff1a;

Bind udp on 9000...
Received from 127.0.0.1:65008
Received from 127.0.0.1:65008

客户端&＃xff1a;

Received Hello, client1
Received Hello, client2