想玩爬虫？你需要知道一些简单的知识（一）（http）

一、http基本原理&＃xff1a;

URI&＃xff1a;统一资源标识符
URL&＃xff1a;统一资源定位符
简单来说就是网址&＃xff0c;https://www.douban.com/是豆瓣首页的网址&＃xff0c;它就是一个URL也是URI。&＃xff08;只是一般情况&＃xff0c;其中还有很多细化的知识&＃xff09;

超文本&＃xff1a;我们平时看到的网页就是有超文本解析而来&＃xff0c;包括图片文字等内容&＃xff0c;在浏览器中点击“检查”或者按F12就可以看见HTML源代码&＃xff0c;这些代码就是超文本。

协议&＃xff1a;简单理解为“规定”&＃xff0c;我们访问资源&＃xff0c;需要有某些统一的格式、方式等&＃xff0c;都由协议规定。网络协议就如同现实世界中的法律。

在URL的开头会有协议&＃xff0c;有很多类型&＃xff0c;http、https、ftp、sftp、smb等。&＃xff08;可参考书籍&＃xff1a;计算机网络&＃xff09;

爬取页面通常要用到的是http和https协议。
HTTP&＃xff0c;超文本传输协议&＃xff0c;从网络传输超文本数据到本地浏览器的传送协议。
HTTPS&＃xff0c;超文本传输安全协议&＃xff0c;HTTP的安全版。主要有两个作用&＃xff1a;1.建立一个信息安全的通道来保证数据传输的安全&＃xff1b;2.确认网站的真实性&＃xff08;点击锁头可查看网站认证之后的真实信息&＃xff0c;知识CA机构信任的&＃xff09;。

在浏览器中输入一个URL &＃xff0c;回车&＃xff0c;在浏览器中观察到页面内容。这个过程是浏览器向网站所在的服务器发送了一个请求&＃xff0c;服务器接收到这个请求后进行处理和解析&＃xff0c;然后返回对应的响应&＃xff0c;接着传回给浏览器响应里包含了页面的源代码等内容&＃xff0c;浏览器再对其进行解析&＃xff0c;便将网页呈现了出来。&＃xff08;在浏览器中按F12或者点击右键选择检查就可查看请求和响应的过程&＃xff09;
第一列Name&＃xff1a;请求的名称&＃xff0c;一般会将RL最后一部分内容当作名称。
第二列Status&＃xff1a;响应的状态码&＃xff0c;这里显示为 00 代表响应是正常的&＃xff0c;通过状态码&＃xff0c;我们可以判断发送了请求之后是否得到了正常的响应。
第三列Type&＃xff1a;请求的文档类型&＃xff0c;这里为document &＃xff0c;代表我们这次请求的是HTML文档&＃xff0c;内容就是一些HTML代码。
第四列Initiator&＃xff1a;请求源&＃xff0c;用来标记请求是由哪个对象或进程发起的。
第五列Size&＃xff1a;从服务器下载的文件和请求的资源大小如果是从缓存中取得的资源&＃xff0c;则该列会显示台from cache。
第六列Time&＃xff1a;发起请求到获取响应所用的总时间。
第七列Waterfall&＃xff1a;网络请求的可视化瀑布流。

点开某一个条目可查看具体信息。
General部分&＃xff1a;

Request URL&＃xff1a;请求的 URL
Request Method&＃xff1a;请求的方法
Status Code&＃xff1a;为响应状态码
Remote Address&＃xff1a;为远程服务器的地址和端口
Referrer Policy Referrer&＃xff1a;判别策略

响应头Response Headers&＃xff1a;
Date&＃xff1a;响应产生的时间。
Last-Modified&＃xff1a;指定资源 最后修改。
Content-Encoding&＃xff1a;指定 容的编码。
Server&＃xff1a;包含服务器的信息 &＃xff0c;比如 、版本号等。
Content-Type&＃xff1a;文档类型 &＃xff0c;指定返回的 类型是 &＃xff0c;如 tex t/ htm 代表返回 HTML 文档&＃xff0c;application/x-Javascript !J! 返回 Javascript 件&＃xff0c; image jpeg 代表返回图片。
Set COOKIE&＃xff1a;设置 COOKIE 应头中的 Set Cook 告诉浏览器需要将此内容放在 COOKIEs次请求携带COOKIEs 请求。
Expires&＃xff1a;响应的过期时间&＃xff0c;可以使代理务器或浏览器将加载的内容更新到缓存中。如果再次访时&＃xff0c;就可直接从缓存中加载&＃xff0c;降低服务器负载&＃xff0c;缩短加载时间。

请求头Request Headers&＃xff1a;

Accept&＃xff1a;请求报头域&＃xff0c;用于客户端可接受哪些类型的信息。
Accept-Language&＃xff1a;指定客户端可接受的语言类型。
Accept-Encoding&＃xff1a;指定客户端可接受的内容编码。
Host&＃xff1a;用于指定请求资源的主机 IP 和端口号&＃xff0c;其内容为请求 URL 的原始服务器或网关的位置。
COOKIE&＃xff1a;也常用复数形式 COOKIEs &＃xff0c;这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据&＃xff0c;它的主要功能是维持当前访问会话&＃xff0c;例如登陆以后再次打开还是登陆状态。
Referer &＃xff1a;此内容用来标识这个请求是从哪个页面发过来的&＃xff0c;服务器可以拿到这一信息并做相应的处理&＃xff0c;如做来源统计、防盗链处理等。
User-Agent&＃xff1a;UA &＃xff0c;一个特殊的字符串头&＃xff0c;可以使服务器识别客户使用的操作系统及版本&＃xff0c;浏览器及版本等信息&＃xff0c;在做爬虫时加上此信息&＃xff0c;可以伪装为浏览器&＃xff1b;如果不加&＃xff0c;很可能会被识别出为爬虫。
Content-Type&＃xff1a;也叫互联网媒体类型&＃xff08; Internet Media Type &＃xff09;或者 MIME 类型&＃xff0c;在 HTT 协议消息头中&＃xff0c;它用来表示具体请求中的媒体类型信息。
在爬虫中&＃xff0c;如果要构造 POST 请求&＃xff0c;需要使用正确的 Content-Type。

请求&＃xff1a;
可以分为4部分内容&＃xff1a;请求方法&＃xff08; Request Method 请求的网址( Request URL &＃xff09;、请求头&＃xff08; Request Headers 请求体&＃xff08; Request Body&＃xff09;。

请求体&＃xff1a;一般承载的内容是 POST 请求中的表单数据&＃xff0c;而对于 GET 请求&＃xff0c;请求体则为空。

方法&＃xff1a;GET、POST&＃xff08;大多在表单提交时发起&＃xff0c;例如登陆时&＃xff09;。
区别&＃xff1a;
1.GET 请求中的参数包含在 URL 里面&＃xff0c;数据可以在 URL 中看到&＃xff08;所以通常不用于登陆因为会能看到密码&＃xff09;&＃xff0c;而 POST 请求的 URL 会包含这些数据&＃xff0c;数据都是通过表单形式传输的&＃xff0c;会包含在请求体中&＃xff1b;
2.GET 请求提交的数据最多只有 1024 字节&＃xff0c;而 POST 方式没有限制。
当然还有很多其他的请求方法。

响应&＃xff1a;
由服务端返回给客户端&＃xff0c;可以分为部分&＃xff1a;响应状态码&＃xff08; Response Status Code &＃xff09;、响应头( Response Headers &＃xff09;和响应体&＃xff08; Response Body&＃xff09;。

响应状态码&＃xff1a;表示服务器响应状态&＃xff0c;如 200 代表服务器正常响应&＃xff0c; 404 代表页面未找到&＃xff0c; 500代表服务器内部发生错误。

响应的正文数据都在响应体中&＃xff0c;比如请求网页时&＃xff0c;它的响应体就是网页的HTML代码&＃xff1b;请求一张图片时的响应体就是图片的二进制数据&＃xff0c;做爬虫请求网页后&＃xff0c;要解析的内容就是响应体&＃xff08;点击Preview可查看&＃xff09;。如下图CSDN的首页&＃xff1a;

注&＃xff1a;此系列博文是本人阅读书籍《Python3网络爬虫开发实战的笔记》的笔记&＃xff0c;意在复习巩固自己的知识。想要深入了解的建议阅读《计算机网络》&＃xff0c;里面讲解的很全。