问

python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？

游戏fans2012 发布于 2022-10-26 17:42

请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：

原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了

2 个回答

这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～重要的是保持会话。

如果还不行的话，可以加referer再试一试

2022-10-27 01:07 回答

铁狼爷们儿
动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。

2022-10-27 01:07 回答

手机用户2602903375

撰写答案

今天，你开发时遇到什么问题呢？

热门标签