pythonurllib.parse的常用方法有哪些

本篇内容主要讲解“python urllib.parse的常用方法有哪些”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“python urllib.parse的常用方法有哪些”吧!

urllib 是 python 的内置模块， 主要用于处理url相关的一些操作，例如访问url、解析url等等。

有趣的是，urllib、urllib2曾经同时出现在python2，python3又将两个模块合并成一个，社区又有大神提供了一个urllib3的库，都是用于处理网络请求相关功能，不过这些包在 requests 都是弟弟啦。

而python3中，urllib包下面用的最多的恐怕还是parse模块，主要处理url相关的操作。特别是爬虫应用中，用得多。

一、urlparse

urlparse 方法是把一个完整的URL拆分成不同的组成部分，你可以根据自己的需求提取其中的某部分内容。返回结果ParseResult是namedtuple的子类，由以下10部分组成，每部分既可以通过名字获取也可以通过下表索引得到。

>>> from urllib import parse
>>> url = &＃39;https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd&＃39;
>>> result = parse.urlparse(url)

>>> print(result)
ParseResult(scheme=&＃39;https&＃39;, netloc=&＃39;mp.weixin.qq.com&＃39;, path=&＃39;/s&＃39;, params=&＃39;&＃39;, query=&＃39;__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923&＃39;, fragment=&＃39;rd&＃39;)

# 通过下标获取
>>> result[0]
&＃39;https&＃39;

# 协议
>>> result.scheme
&＃39;https&＃39;

# url资源路径
>>> result.path
&＃39;/s&＃39;
# 查询参数
>>> result.query
&＃39;__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923&＃39;

# 获取主机名
>>> result.hostname
&＃39;mp.weixin.qq.com&＃39;

二、parse_qs

parse_qs 是将查询参数这部分内容解析装换成字典对象

>>> parse.parse_qs(result.query)
{&＃39;__biz&＃39;: [&＃39;MjM5MzgyODQxMQ==&＃39;], &＃39;mid&＃39;: [&＃39;2650366919&＃39;], &＃39;idx&＃39;: [&＃39;1&＃39;], &＃39;sn&＃39;: [&＃39;1b36a9f2c0921cdeac52942ec591a923&＃39;]}
>>>

每个参数名对应的值是一个列表对象，这是因为在url规范中，一个参数名可以对应多个值。然通常在实际应用场景中一个名字只会对应一个值。

你可以用一行代码将列表转化为字符串

>>> {name: value[0] for name, value  in parse.parse_qs(result.query).items()}
{&＃39;__biz&＃39;: &＃39;MjM5MzgyODQxMQ==&＃39;, &＃39;mid&＃39;: &＃39;2650366919&＃39;, &＃39;idx&＃39;: &＃39;1&＃39;, &＃39;sn&＃39;: &＃39;1b36a9f2c0921cdeac52942ec591a923&＃39;}

三、urlencode

反过来，如果由一个字典对象想转换为url中的查询参数，那么就可以使用urlencode方法。

>>> d = {&＃39;__biz&＃39;: &＃39;MjM5MzgyODQxMQ==&＃39;, &＃39;mid&＃39;: &＃39;2650366919&＃39;, &＃39;idx&＃39;: &＃39;1&＃39;}
>>> parse.urlencode(d)
&＃39;__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1&＃39;

四、quote

URL编码

在URL的标准规范中，url只允许数字、字母和部分特殊符号，如果有中文，就需要使用UTF-8进行编码，转换成 %XX的形式，例如: 【中】UTF-8编码的结果是：

>>> "中".encode()
b&＃39;\xe4\xb8\xad&＃39;

就会转换成 %e4%b8%ad

>>> parse.quote("q=中")
&＃39;q%3D%E4%B8%AD&＃39;
>>>

对于特殊符号，也会进行成对应的16进制符号， 例如 【=】 就转换成了 %3D

五、unquote

unquote 是 quote 的逆向过程

URL解码

>>> parse.unquote("q%3D%E4%B8%AD")
&＃39;q=中&＃39;

到此，相信大家对“python urllib.parse的常用方法有哪些”有了更深的了解，不妨来实际操作一番吧！这里是编程笔记网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！