今天带来一个小小的例子&＃xff0c;众所周知&＃xff0c;如果看到不懂得英语单词&＃xff0c;句子&＃xff0c;肯定需要翻译工具来辅助我们进行学习&＃xff0c;所以我们趁热打铁&＃xff0c;上节课学习了 urllib这个爬虫工具库&＃xff0c;我们接下来小试牛刀吧
这篇文章我们将以 百度翻译 为例&＃xff0c;分析网络请求的过程&＃xff0c;然后使用 urllib 编写一个英语翻译的小模块
1、准备工作
首先使用 Chrome 浏览器打开 百度翻译&＃xff0c;这里&＃xff0c;我们选择 Chrome 浏览器自带的开发者工具对网站进行抓包分析
2、抓包分析
打开 Network 选项卡进行监控&＃xff0c;并选择 XHR 作为 Filter 进行过滤
然后&＃xff0c;我们在输入框中输入待翻译的文字进行测试&＃xff0c;可以看到列表中出现三个数据包
分别是 sug、v2transapi 和 langdetect&＃xff0c;下面我们一个一个进行分析
② 然后&＃xff0c;我们可以打开 sug 数据包的 Headers 选项卡分析请求数据&＃xff0c;使用程序模拟发送请求&＃xff0c;基本信息如下&＃xff1a;
General&＃xff1a;基本参数
Request URL : https://fanyi.baidu.com/sug
Request Method : POST
Request Headers&＃xff1a;请求头部
User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64) AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.67 Safari/537.36
—— 用户代理
Form Data&＃xff1a;表单数据
kw : 你好 —— 翻译的内容
③ 下面祭上完整的代码
import urllib.request
import urllib.parse
import json
def translate(text):# 参数检验if not text:return &＃39;None&＃39;# 请求网址url &＃61; "https://fanyi.baidu.com/sug"# 表单数据params &＃61; {&＃39;kw&＃39;:text}data &＃61; urllib.parse.urlencode(params).encode(&＃39;utf-8&＃39;)# 请求头部headers &＃61; { &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36&＃39;}# 构造请求对象req &＃61; urllib.request.Request(url&＃61;url,data&＃61;data,headers&＃61;headers)# 发送请求&＃xff0c;获得响应response &＃61; urllib.request.urlopen(req)# 解析数据content &＃61; json.loads(response.read().decode(&＃39;utf-8&＃39;))if content[&＃39;errno&＃39;] &＃61;&＃61; 0: # 一切正常result &＃61; content[&＃39;data&＃39;][0][&＃39;v&＃39;]else: # 发生错误result &＃61; &＃39;Error&＃39;# 返回结果return result
if __name__ &＃61;&＃61; "__main__":while True :text &＃61; input(&＃39;翻译内容&＃xff1a;&＃39;)result &＃61; translate(text)print("翻译结果&＃xff1a;%s" % result)
可以看到&＃xff0c;上面的代码虽然可以完美翻译中文和英文&＃xff0c;但是却不能翻译句子&＃xff01;
这可怎么办呀&＃xff1f;别急&＃xff0c;不是还有两个数据包没有分析嘛&＃xff0c;再看看还有没有其它办法吧
&＃xff08;2&＃xff09;分析 v2transapi 数据包
① 打开 v2transapi 数据包的 Preview 选项卡查看响应结果&＃xff0c;这里面竟然也有我们需要的翻译结果
② 接下来&＃xff0c;我们还是打开 v2transapi 数据包的 Headers 选项卡查看请求数据&＃xff0c;其基本信息如下&＃xff1a;
General&＃xff1a;基本参数
Request URL : https://fanyi.baidu.com/v2transapi —— 请求网址
Request Method : POST —— 请求方法&＃xff0c;
Request Headers&＃xff1a;请求头部
User-Agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36 —— 用户代理
Form Data&＃xff1a;表单数据
query : 你好 —— 翻译的内容
from : zh —— 翻译内容的语言类型&＃xff0c;zh 代表中文&＃xff0c;设置为 auto 可自动检测
to : en —— 翻译结果的语言类型&＃xff0c;en 代表英文&＃xff0c;设置为 auto 可自动检测
sign 和 token&＃xff1a;加密参数
唉&＃xff0c;只想简简单单爬个翻译&＃xff0c;竟然还要涉及密码破解&＃xff0c;没办法&＃xff0c;只好请教百度了
一查才知道&＃xff0c;原来百度翻译有一个公开的 API&＃xff0c;根本就不需要涉及加密解密
只需要把上面的请求地址改成 https://fanyi.baidu.com/transapi 就可以了
③ 下面同样祭上完整的代码&＃xff0c;其实和上面的十分类似
import urllib.request
import urllib.parse
import jsondef translate(text):# 参数检验if not text:return &＃39;None&＃39;# 请求网址url &＃61; "https://fanyi.baidu.com/transapi"# 表单数据params &＃61; {&＃39;query&＃39;:text,&＃39;from&＃39;:&＃39;auto&＃39;,&＃39;to&＃39;:&＃39;auto&＃39;}data &＃61; urllib.parse.urlencode(params).encode(&＃39;utf-8&＃39;)# 请求头部headers &＃61; { &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36&＃39;}# 构造请求对象req &＃61; urllib.request.Request(url&＃61;url,data&＃61;data,headers&＃61;headers)# 发送请求&＃xff0c;获得响应response &＃61; urllib.request.urlopen(req)# 解析数据content &＃61; json.loads(response.read().decode(&＃39;utf-8&＃39;))result &＃61; content[&＃39;data&＃39;][0][&＃39;dst&＃39;]# 返回结果return resultif __name__ &＃61;&＃61; "__main__":while True :text &＃61; input(&＃39;翻译内容&＃xff1a;&＃39;)result &＃61; translate(text)print("翻译结果&＃xff1a;%s" % result)
3、相关拓展
有道翻译的爬取和百度翻译的十分类似&＃xff0c;这里也顺便提及一下
我们还是先来打开数据包的 Headers 选项卡查看请求数据&＃xff0c;其基本信息如下&＃xff1a;
General&＃xff1a;基本参数
Request URL : http://fanyi.youdao.com/translate_o —— 请求网址
Request Method : POST —— 请求方法
Request Headers&＃xff1a;请求头部
User-Agent:Mozilla/5.0(WindowsNT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36 —— 用户代理
Form Data&＃xff1a;表单数据
i: 你好 —— 翻译的内容
doctype : json —— 数据类型&＃xff0c;指定为 JSON
from : AUTO —— 翻译内容的语言类型&＃xff0c;自动检测
to : AUTO —— 翻译结果的语言类型&＃xff0c;自动检测
sign 和 salt&＃xff1a;加密参数
和百度翻译的很类似&＃xff0c;都设置了加密参数&＃xff0c;怎么办&＃xff1f;也和百度翻译类似&＃xff0c;修改一下请求地址就好
话不多说&＃xff0c;直接放代码&＃xff1a;
import urllib.request
import urllib.parse
import jsondef translate(text):# 参数检验if not text:return &＃39;None&＃39;# 请求网址url &＃61; "https://fanyi.youdao.com/translate"# 表单数据params &＃61; {&＃39;i&＃39;:text,&＃39;doctype&＃39;:&＃39;json&＃39;,&＃39;from&＃39;:&＃39;AUTO&＃39;,&＃39;to&＃39;:&＃39;AUTO&＃39;}data &＃61; urllib.parse.urlencode(params).encode(&＃39;utf-8&＃39;)# 请求头部headers &＃61; { &＃39;User-Agent&＃39;:&＃39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36&＃39;}# 构造请求对象req &＃61; urllib.request.Request(url&＃61;url,data&＃61;data,headers&＃61;headers)# 发送请求&＃xff0c;获得响应response &＃61; urllib.request.urlopen(req)# 解析数据content &＃61; json.loads(response.read().decode(&＃39;utf-8&＃39;))if content[&＃39;errorCode&＃39;] &＃61;&＃61; 0: # 一切正常result_tup &＃61; (item[&＃39;tgt&＃39;] for item in content[&＃39;translateResult&＃39;][0])result &＃61; &＃39;&＃39;.join(result_tup)else: # 发生错误result &＃61; &＃39;Error&＃39;# 返回结果return resultif __name__ &＃61;&＃61; "__main__":while True :text &＃61; input(&＃39;翻译内容&＃xff1a;&＃39;)result &＃61; translate(text)print("翻译结果&＃xff1a;%s" % result)
请继续关注我
记得点赞加关注哦&＃xff0c;记得加鸡腿啊
京公网安备 11010802041100号