作者:tycomed姐姐_398 | 来源:互联网 | 2022-12-31 15:08
python爬虫---爬取LOL云顶之弈数据本来是想爬取之后作最佳羁绊组合推算,但是遇到知识点无法消化(知识图谱),所以暂时先不组合了,实力有限库的安装1.requests#爬取棋
python爬虫---爬取LOL云顶之弈数据
本来是想爬取之后作最佳羁绊组合推算,但是遇到知识点无法消化(知识图谱),所以暂时先不组合了,实力有限 库的安装 1.requests #爬取棋子数据 2.json #棋子数据为js动态,需使用json解析 3.BeautifulSoup 实战前先新建个lol文件夹作为工作目录,并创建子目录data,用于存放数据。1.爬取数据,新建个py文件,用于爬取云顶数据,命名为data.py 1.1定义个req函数,方便读取。
//需设定编码格式,否则会出现乱码 def Re_data(url): re = requests.get(url) re.encoding = 'gbk' data = json.loads(re.text) return data['data'] 1.2定义个Get函数,用于读取数据并使用保存函数进行保存数据,保存格式为json。
def Get_data(): # 获取数据并保存至data目录 base_url = 'https://game.gtimg.cn/images/lol/act/img/tft/js/' chess = Re_data(base_url + 'chess.js') race = Re_data(base_url + 'race.js') job = Re_data(base_url + 'job.js') equip = Re_data(base_url + 'equip.js') Save_data(chess,race,job,equip) 1.3定义save函数实现读取的数据进行文件保存,保存目录为工作目录下的data文件夹。 def Save_data(t_chess,t_race,t_job,t_equip): with open('./data/chess.json','w') as f: json.dump(t_chess,f,indent='\t') with open('./data/race.json','w') as f: json.dump(t_race,f,indent='\t') with open('./data/job.json','w') as f: json.dump(t_job,f,indent='\t') with open('./data/equip.json','w') as f: json.dump(t_equip,f,indent='\t') 1.4定义主函数main跑起来 if __name__ == '__main__': start = time.time() Get_data() print('运行时间:' + str(time.time() - start) + '秒') 至此,数据爬取完成。 2.种族和职业进行组合。 2.1未完成 //未完成,使用穷举方法进行组合会出现内存不够导致组合失败(for循环嵌套导致数组内存超限) //待学习,使用知识图谱建立组合优选,可参考:https://zhiya360.com/12447.html 期间遇到的问题: 1.爬取棋子数据时为动态js加载,需通过json模块的loads方法获取 2.3层for循环嵌套数据量大,导致计算失败,需优化计算方法。
如何用Python爬虫抓取网页内容?
爬虫流程其实把网络爬虫抽象开来看,它无外乎包含如下几个步骤模拟请求网页。模拟浏览器,打开目标网站。
打开网站之后,就可以自动化的获取我们所需要的网站数据。拿到数据之后,需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用 Python 来编写自己的爬虫程序呢,在这里我要重点介绍一个 Python 库:Requests。
Requests 使用Requests 库是 Python 中发起 HTTP 请求的库,使用非常方便简单。
从零开始学python爬虫(八):selenium提取数据和其他使用方法
知识点: 知识点:了解 driver对象的常用属性和方法 注意:最新版本的selenium已经取消了这种格式,取而代之的是: 你要先导入: 然后再: 知识点:掌握 driver对象定位标签元素获取标签对象的方法 代码实现,如下,获取腾讯新闻首页的新闻标签的内容。
如何用Python爬取数据?
方法/步骤
在做爬取数据之前,你需要下载安装两个东西,一个是urllib,另外一个是python-docx。
请点击输入图片描述
然后在python的编辑器中输入import选项,提供这两个库的服务
请点击输入图片描述
urllib主要负责抓取网页的数据,单纯的抓取网页数据其实很简单,输入如图所示的命令,后面带链接即可。
请点击输入图片描述
抓取下来了,还不算,必须要进行读取,否则无效。
请点击输入图片描述
5
接下来就是抓码了,不转码是完成不了保存的,将读取的函数read转码。再随便标记一个比如XA。
请点击输入图片描述
6
最后再输入三句,第一句的意思是新建一个空白的word文档。
第二句的意思是在文档中添加正文段落,将变量XA抓取下来的东西导进去。
第三句的意思是保存文档docx,名字在括号里面。
请点击输入图片描述
7
这个爬下来的是源代码,如果还需要筛选的话需要自己去添加各种正则表达式。
python爬虫是干嘛的
爬虫技术是一种自动化程序。
爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序,它的原理就是模拟浏览器发送网络请求,接受请求响应,然后按照一定的规则自动抓取互联网数据。
搜索引擎通过这些爬虫从一个网站爬到另一个网站,跟踪网页中的链接,访问更多的网页,这个过程称为爬行,这些新的网址会被存入数据库等待搜索。
简而言之,爬虫就是通过不间断地访问互联网,然后从中获取你指定的信息并返回给你。而我们的互联网上,随时都有无数的爬虫在爬取数据,并返回给使用者。
爬虫技术的功能
1、获取网页
获取网页可以简单理解为向网页的服务器发送网络请求,然后服务器返回给我们网页的源代码,其中通信的底层原理较为复杂,而Python给我们封装好了urllib库和requests库等,这些库可以让我们非常简单的发送各种形式的请求。
2、提取信息
获取到的网页源码内包含了很多信息,想要进提取到我们需要的信息,则需要对源码还要做进一步筛选。
可以选用python中的re库即通过正则匹配的形式去提取信息,也可以采用BeautifulSoup库(bs4)等解析源代码,除了有自动编码的优势之外,bs4库还可以结构化输出源代码信息,更易于理解与使用。
3、保存数据
提取到我们需要的有用信息后,需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据,也可以用第三方库保存为其它形式的数据,例如可以通过pandas库保存为常见的xlsx数据,如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。