如何用node.js爬取动态数据

 用户0a8xoj91q0 发布于 2022-10-31 13:11

如何爬取动态数据,就是ajax请求的数据
比如说在代码中




开课课程信息




  
  
  
  <body>
  <p>This page uses frames, but your browser doesn't support them.</p>
  </body>
  



从代码中可以看出来源的数据是框架的akechengdw.asp,但是如何爬取这样的数据

5 个回答
  • phantomjs

    2022-10-31 22:58 回答
  • 你至少贴个url吧, 建议你先去百度一下 “提问的艺术”,别说了这么多, 都是口水话,提问题就要让别人看得懂。

    2022-10-31 22:58 回答
  • 两种思路,补充楼上的

    模拟浏览器,一般可以用一些 headless broswer,Node 的话有一些包可以,比如 https://github.com/amir20/pha...

    2022-10-31 22:58 回答
  • F12看ajax请求,注意伪装一下就行,比如user agent、referrer之类的。
    如果需要登录权限,那么加上识别用户的cookie就行,可以一个一个试试。
    如果有csrf防御机制,那就找出埋点的csrf token附带过去就行。

    2022-10-31 22:58 回答
  • 如果是ajax请求的数据的话,一般有两种思路。

    1.是模拟浏览器去访问。具体的可以Google模拟浏览器 爬虫这个关键字,具体还是得自己实践。

    2.去找相关的接口,去爬接口,注意一些请求头就可以了。

    2022-10-31 22:58 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有