python - 【新手求救】scrapy:根据xpath爬取爬虫获取的结果为空

 刘美娥94662 发布于 2022-10-30 08:50

python新手最近在学习scrapy爬取网站,就先找一个网站爬取一些东西

爬取网站为:http://www.acfun.tv/a/ac2643312

我想爬取的内容为评论,就爬取评论作者reviewer 和 评论内容content

可是我print sites的内容发现为空 []
sites = sel.xpath('//p[@id="area-comment-inner"]/p/p')
出现错误 DEBUG: Crawled (200) (referer: None)

我想请教下各位 xpath 格式是否正确,该怎么样改,谢谢!
还有请求各位给我一些关于学习Python爬虫在方向和方法上一点指引!谢谢各位!

class AcfunSpider(Spider):
    name = "acfun"
    allowed_domains = ["acfun.tv"]
    start_urls = [
        "http://www.acfun.tv/a/ac2643312"
    ]

    def parse(self, response):

        sel = Selector(response)
        sites = sel.xpath('//p[@id="area-comment-inner"]/p/p')
        print sites
        items = []

        for site in sites:
            item = W3SchoolItem()
            reviewer= site.xpath('p[2]/text()').extract()  
            content= site.xpath('p[1]/a/text()').extract()      

            item['reviewer'] = [r.encode('utf-8') for r in reviewer]
            item['content'] = [c.encode('utf-8') for c in content]
            items.append(item)

            log.msg("Appending item...",level='INFO')

        log.msg("Append done.",level='INFO')
        return items
        
    
    

通过Firefox的xpath checker检验抓取的内容发现xpath也没问题,是正确
的,但是为什么不对呢??

3 个回答
  • 评论里面的有些html不规则导致的,往它们的父类找吧,找到一个所有评论html都有的节点,然后用正则匹配取出来吧,18条数据中第一条没有就是那个text()匹配不到,别急着text()就取数据了

    2022-11-12 01:47 回答
  • 出现错误 DEBUG: Crawled (200) <GET http://www.acfun.tv/a/ac2643312> (referer: None)
    这不是错误,是调试信息。。。

    2022-11-12 01:47 回答
  • 有人回答吗?

    2022-11-12 01:47 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有