python爬虫爬取LOL云顶之弈数据

python爬虫---爬取LOL云顶之弈数据

本来是想爬取之后作最佳羁绊组合推算，但是遇到知识点无法消化（知识图谱），所以暂时先不组合了，实力有限 库的安装 1.requests  #爬取棋子数据 2.json  #棋子数据为js动态，需使用json解析 3.BeautifulSoup 实战前先新建个lol文件夹作为工作目录，并创建子目录data，用于存放数据。1.爬取数据，新建个py文件，用于爬取云顶数据，命名为data.py 1.1定义个req函数，方便读取。

//需设定编码格式，否则会出现乱码 def Re_data(url): re = requests.get(url) re.encoding = 'gbk' data = json.loads(re.text) return data['data'] 1.2定义个Get函数，用于读取数据并使用保存函数进行保存数据，保存格式为json。

def Get_data(): # 获取数据并保存至data目录 base_url = 'https://game.gtimg.cn/images/lol/act/img/tft/js/' chess = Re_data(base_url + 'chess.js') race = Re_data(base_url + 'race.js') job = Re_data(base_url + 'job.js') equip = Re_data(base_url + 'equip.js') Save_data(chess,race,job,equip) 1.3定义save函数实现读取的数据进行文件保存，保存目录为工作目录下的data文件夹。 def Save_data(t_chess,t_race,t_job,t_equip): with open('./data/chess.json','w') as f: json.dump(t_chess,f,indent='\t') with open('./data/race.json','w') as f: json.dump(t_race,f,indent='\t') with open('./data/job.json','w') as f: json.dump(t_job,f,indent='\t') with open('./data/equip.json','w') as f: json.dump(t_equip,f,indent='\t') 1.4定义主函数main跑起来 if __name__ == '__main__': start = time.time() Get_data() print('运行时间：' + str(time.time() - start) + '秒') 至此，数据爬取完成。 2.种族和职业进行组合。 2.1未完成 //未完成，使用穷举方法进行组合会出现内存不够导致组合失败（for循环嵌套导致数组内存超限） //待学习，使用知识图谱建立组合优选，可参考：https://zhiya360.com/12447.html 期间遇到的问题： 1.爬取棋子数据时为动态js加载，需通过json模块的loads方法获取 2.3层for循环嵌套数据量大，导致计算失败，需优化计算方法。

如何用Python爬虫抓取网页内容?

爬虫流程其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤模拟请求网页。模拟浏览器，打开目标网站。

打开网站之后，就可以自动化的获取我们所需要的网站数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。

Requests 使用Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。

从零开始学python爬虫（八）：selenium提取数据和其他使用方法

知识点： 知识点：了解 driver对象的常用属性和方法 注意：最新版本的selenium已经取消了这种格式，取而代之的是： 你要先导入： 然后再： 知识点：掌握 driver对象定位标签元素获取标签对象的方法 代码实现，如下，获取腾讯新闻首页的新闻标签的内容。

如何用Python爬取数据？

方法/步骤 在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。 请点击输入图片描述 然后在python的编辑器中输入import选项，提供这两个库的服务 请点击输入图片描述 urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。

请点击输入图片描述 抓取下来了，还不算，必须要进行读取，否则无效。

请点击输入图片描述 5 接下来就是抓码了，不转码是完成不了保存的，将读取的函数read转码。再随便标记一个比如XA。 请点击输入图片描述 6 最后再输入三句，第一句的意思是新建一个空白的word文档。 第二句的意思是在文档中添加正文段落，将变量XA抓取下来的东西导进去。

第三句的意思是保存文档docx，名字在括号里面。 请点击输入图片描述 7 这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。

python爬虫是干嘛的

爬虫技术是一种自动化程序。 爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。

简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。 爬虫技术的功能 1、获取网页 获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。 2、提取信息 获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。

可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。 3、保存数据 提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。