如何爬取动态数据,就是ajax请求的数据
比如说在代码中
开课课程信息
从代码中可以看出来源的数据是框架的akechengdw.asp,但是如何爬取这样的数据
phantomjs
你至少贴个url吧, 建议你先去百度一下 “提问的艺术”,别说了这么多, 都是口水话,提问题就要让别人看得懂。
两种思路,补充楼上的
模拟浏览器,一般可以用一些 headless broswer,Node 的话有一些包可以,比如 https://github.com/amir20/pha...
F12看ajax请求,注意伪装一下就行,比如user agent、referrer之类的。
如果需要登录权限,那么加上识别用户的cookie就行,可以一个一个试试。
如果有csrf防御机制,那就找出埋点的csrf token附带过去就行。
如果是ajax请求的数据的话,一般有两种思路。
1.是模拟浏览器去访问。具体的可以Google模拟浏览器 爬虫这个关键字,具体还是得自己实践。
2.去找相关的接口,去爬接口,注意一些请求头就可以了。