如何利用python爬虫提交json数据

 乳酪杳杳 发布于 2022-10-29 06:55

如题,目标是不需要POST的站点,已经按照抓包的结果伪装成了浏览器,似乎还少了点什么,抓包数据里面有发现JSON数据,感觉是因为这个原因,但是我不明白要如何正确提交,所以收到的是乱码字符或者是不完整的页面源码。我用浏览器获取了网页源代码做了比较确实不完整,爬虫只拿到了头部和尾部。不用管AJAX,因为就连摘取到的第一页的内容都是不完整的。

3 个回答
  • 是不是你要抓取的内容是通过AJAX加载的?看你的描述好像是html中没有你想要的东西,但你在json里发现了。

    2022-10-30 10:06 回答
  • 你提供的信息太少了。。。

    1. 你到底想干什么?是提交GET请求吗?(你自己说的是没有POST的站点)

    2. 你用的是那个库?urllib.request吗?

    3. 在什么情况下收到乱码字符?怎么个乱码法?什么时候收到不完整的源码?你怎么知道源码不完整的?

    2022-10-30 10:12 回答
  • 去看json的那个请求,直接抓那个请求的数据就可以了

    2022-10-30 10:23 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有