对于代理我不是很了解原理。用的软件打开连接上代理之后,在浏览器中打开(用mamp设置的本地服务器)用php写的爬虫是可以访问外网成功抓取页面的。
但是用python的话,不知道该怎么设置。
print(urllib.request.getproxies()) #连接前后这个代理都是空的,不是会获取系统环境变量的吗?
应该如何设置?
谢谢大神们的指导!
cj = http.cookiejar.CookieJar() if(len(self.conf["proxy"])==0): opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) pass else: proxy_support = urllib.request.ProxyHandler({'http': self.conf["proxy"]}) opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj),proxy_support) pass
正好最近写哥抓东热种的,扔给你;