问

php爬虫拿到ajax请求地址应该放在哪里执行？

墨镜小靖发布于 2022-12-01 13:06

用的phpcrawl框架，
第1步是设置开始地址；
第2步是设置要下载的内容类型：text/html；
第3步是用正则表达式设置要扩展的url规则；
第4步就是开始抓取，抓取符合第3步url规则的网址的内容。
第5步是用正则表达式或dom解析工具解析自己需要的内容。

问题是：
有些内容是ajax请求，请求地址是javascript写的，已经拼接好了。那么，这个地址应该怎么样才可以让这个爬虫去执行？放在第3步的扩展地址不行，因为是自己拼接的，源代码中没有这个地址，匹配不到。

1 个回答

直接使用拼接后的地址，然后查看该AJAX是GET还是POST请求，设置好参数后再做一次curl请求，然后再解析数据。

2022-12-01 13:37 回答

菜鸟来袭

撰写答案

今天，你开发时遇到什么问题呢？

热门标签