python爬取评论_Python爬取腾讯视频评论

原标题&＃xff1a;Python爬取腾讯视频评论

需要获取的数据&＃xff1a;某部电影的评论数据&＃xff0c;实现自动加载。

首先可以发现腾讯视频中某个视频的评论&＃xff0c;在下面的图片中&＃xff0c;如果点击”查看更多评论”&＃xff0c;网页地址并无变化&＃xff0c;与上面提到的糗事百科中的页码变化不同。而且通过查看源代码&＃xff0c;只能看到部分评论。即评论信息是动态加载的&＃xff0c;那么该如何爬取多页的评论数据信息&＃xff1f;

第一步&＃xff0c;分析腾讯视频评论网址变化规律。点击”查看更多评论”&＃xff0c;同时打开Fiddler&＃xff0c;第一条信息的TextView中&＃xff0c;TextView中可以看到对应的content内容是unicode编码&＃xff0c;刚好对应的是某条评论的内容。

解码出来可以看到对应评论内容。

将第一条信息的网址复制出来进行分析&＃xff0c;观察其中的规律。下图是两个紧连着的不同评论的url地址&＃xff0c;如下图&＃xff0c;可以发现只有cursor字段发生变化&＃xff0c;只要得到cursor&＃xff0c;那么评论的地址就可以轻松获得。如何找到cursor值&＃xff1f;

第二步&＃xff0c;查找网址中变化的cursor字段值。从上面的第一条评论信息里寻找&＃xff0c;发现恰好在last字段值与后一条评论的cursor值相同。即表示cursor的值是迭代方式生成的&＃xff0c;每条评论的cursor信息在其上一条评论的数据包中寻找即可。

第三步&＃xff0c;完整代码

a.腾讯视频评论爬虫:获取”深度解读”评论内容&＃xff08;单页评论爬虫&＃xff09;

.b.腾讯视频评论爬虫:获取”深度解读”评论内容&＃xff08;自动切换下一页评论的爬虫&＃xff09;、

责任编辑&＃xff1a;