python3爬虫学习之数据存储txt的案例详解

作者：我叫巴吉度 | 来源：互联网 | 2022-04-10 02:26

上一篇实战爬取知乎热门话题的实战，并且保存为本地的txt文本先上代码，有很多细节和坑需要规避，弄了两个半小时 import r

上一篇实战爬取知乎热门话题的实战，并且保存为本地的txt文本

先上代码，有很多细节和坑需要规避，弄了两个半小时

import requests
import re
 
headers = {
 "user-agent" : "Mozilla/5.0 (Windows NT 6.1; Win64; x64)"
   " AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari"
   "/537.36M",
 "COOKIE" : '_xsrf=H6hRg3qQ9I1O8jRZOmf4ytecfaKdf2es; _zap=296584df-ce11-4059-bc93-be10eda0fdc1; d_c0="AKBmB5e-PA-PTkZTAD1nQun0qMf_hmcEH14=|1554554531"; '
  'capsion_ticket="2|1:0|10:1554554531|14:capsion_ticket|44:Yjc0NjAzNDViMTIzNDcyZDg2YTZjYTk0YWM3OGUzZDg=|2d7f136328b50cdeaa85e2605e0be2bb931d406babd396373d15d5f8a6c'
  '92a61"; l_n_c=1; q_c1=ad0738b5ee294fc3bd35e1ccb9e62a11|1554554551000|1554554551000; n_c=1; __gads=ID=9a31896e052116c4:T=1554555023:S=ALNI_Mb-I0et9W'
  'vgfQcvMUyll7Byc0XpWA; tgw_l7_route=116a747939468d99065d12a386ab1c5f; l_cap_id="OGEyOTkzMzE2YmU3NDVmYThlMmQ4OTBkMzNjODE4N2Y=|1554558219|a351d6740bd01ba8ee34'
  '94da0bd8b697b20aa5f0"; r_cap_id="MDIzNThmZjRhNjNlNGQ1OWFjM2NmODIxNzNjZWY2ZjY=|1554558219|ff86cb2f7d3c6e4a4e2b1286bbe0c093695bfa1d"; cap_id="MGNkY2RiZTg5N2MzNDUyNTk0NmEzMTYyYzgwY'
  'zdhYTE=|1554558219|18ed852d4506efb2345b1dbe14c749b2f9104d54"; __utma=51854390.789428312.1554558223.1554558223.1554558223.1; __utmb=51854390.0.10.1554558223; __utmc=51854390; '
  '__utmz=51854390.1554558223.1.1.utmcsr=(direct'
  ')|utmccn=(direct)|utmcmd=(none); __utmv=51854390.000--|3=entry_date=20190406=1',
 "authority" : "www.zhihu.com",
 
}
url = "https://www.zhihu.com/explore"
respOnse= requests.get(url=url , headers=headers)
text = response.text
# print(text)
titles = []
f_titles = re.findall(r'.*&＃63;(.*&＃63;).*&＃63;',text,re.S)
for title in f_titles:
 titles.append(title.strip())
# print("*"*30)
authors = []
f_authors = re.findall(r'(.*&＃63;)',text,re.S)[1:]
for f_author in f_authors:
 # print(f_author)
 author = re.sub(r'<.*&＃63;>|]*&＃63;)>' , "" , f_author,re.S).strip()
 authors.append(author)
# print("*"*30)
content_urls = re.findall(r'.*&＃63;.*&＃63;',text,re.S)[1:]
cOntents= []
for content_url in content_urls:
 content_full_url = "https://www.zhihu.com" + content_url
 # print(content_full_url)
 resp = requests.get(url=content_full_url , headers=headers)
 c_text = resp.text
 cOntent= re.findall(r'*&＃63;(.*&＃63;)',c_text,re.S)
 cOntent= str(content)
 # print(type(content))
 cOnt= re.sub(r'\\n|<.*&＃63;>',"",content).strip()
 # print(cont)
 contents.append(cont)
 
zhihu_questiOns= []
for value in zip(titles,authors,contents):
 title,author,cOntent= value
 zhihu_question = {
 "标题" : title,
 "作者" : author,
 "内容" : content
 }
 zhihu_questions.append(zhihu_question)
 
# for zhihu_question in zhihu_questions:
# for value in zhihu_question.values():
#  print(value)
# print("=" * 50)
 
with open("知乎.txt" , "a" , encoding="utf-8") as fp:
 for zhihu_question in zhihu_questions:
 for value in zhihu_question.values():
  fp.write(value)
  fp.write('\n' + "="*10 + '\n')
 fp.write('\n' + "*"*50 + '\n')

我们用requests库和正则来爬取

因为要一直测试爬取内容是否正确，可能运行太频繁，博主中间被封了一次号，然后修改了COOKIE等信息，勉强获取到了内容。

正则表达式在之前讲的很多了，也有过实战，不多赘述，我们主要来讲爬取时遇到的问题。

爬取标题时很顺利，我们只需要去除空白就行了

当爬取作者时就有了问题，我们注意到，热门话题共有10篇，也就是10个作者，但在用正则获取时，要么第一个作者不对，要么就只有9个作者，我把所有热门话题url，标题，作者和内容打印出来，打开浏览器一个一个对应标题作者和内容是否正确，发现了一个神奇的现象。

一：作者数量不对

在知乎有匿名作者，这种作者和不匿名的作者都放在同一种div下，但匿名作者在span标签内，而不匿名作者在a标签下，所以当我用正则匹配a标签的内容，无法获取匿名用户，就导致作者数量不对。于是直接获取div下的所有内容，在用sub去掉不要的内容

二：作者与标题或内容不符

1是第一个作者，他不是我们需要的，但我们爬取的第一个就是他，2才是热门的第一个作者

未获取匿名用户

这两个是我们无法正常获取的原因

上面两个问题这样解决：

f_authors = re.findall(r'(.*&＃63;)',text,re.S)[1:]
for f_author in f_authors:
 # print(f_author)
 author = re.sub(r'<.*&＃63;>|]*&＃63;)>' , "" , f_author,re.S).strip()
 authors.append(author)

获取所有未经处理的作者，我们不要第一个因为他不是热门话题的回答者，f_authors是含有大量标签的列表，大家可以打印看看

我们遍历这个未经处理的列表，打印未经处理的作者名，看看需要处理什么。

我们发现含有大量span标签和a标签，我们用sub函数处理

三：我们可以发现，这些内容是很长的：

这样，我们获取的内容是不正常的，我们分析可以找到该话题对应的链接，我们加上域名就可以到这个话题的详情页

我们获取url，处理页面，获取内容，将获取的内容去掉标签等无关内容即可。

content_urls = re.findall(r'.*&＃63;.*&＃63;',text,re.S)[1:]
cOntents= []
for content_url in content_urls:
 content_full_url = "https://www.zhihu.com" + content_url
 # print(content_full_url)
 resp = requests.get(url=content_full_url , headers=headers)
 c_text = resp.text
 cOntent= re.findall(r'*&＃63;(.*&＃63;)',c_text,re.S)
 cOntent= str(content)
 # print(type(content))
 cOnt= re.sub(r'\\n|<.*&＃63;>',"",content).strip()
 # print(cont)
 contents.append(cont)

关于zip函数，我在上一篇爬取古诗文也用到了，很重要的函数：

zhihu_questiOns= []
for value in zip(titles,authors,contents):
 title,author,cOntent= value
 zhihu_question = {
 "标题" : title,
 "作者" : author,
 "内容" : content
 }
 zhihu_questions.append(zhihu_question)

最后就是把获取的内容保存为本地txt文档

with open("知乎.txt" , "a" , encoding="utf-8") as fp:
 for zhihu_question in zhihu_questions:
 for value in zhihu_question.values():
  fp.write(value)
  fp.write('\n' + "="*10 + '\n')
 fp.write('\n' + "*"*50 + '\n')

这是最基本的保存爬取内容的方法。后续会有json，csv，数据库的相关博客续上。

运行结果：

另，注释代码都是测试代码，可以参考。

补充：可能看得时候COOKIE信息会过期。

补充：文件打开的几种方式

1：r：只读模式，也是默认模式

2：rb：二进制只读

3：r+：读写方式

4：rb+：二进制读写方式

5：w：写方式

6：wb：二进制写方式

7：w+：读写方式

8：wb+：二进制读写方式

9：a：以追加方式，这个方式不会把原来的内容覆盖，本篇代码以此方式打开文件

10：ab：二进制追加方式

11：a+：读写方式

12：ab+：二进制读写方式

以上所述是小编给大家介绍的python3爬虫学习之数据存储txt的案详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

推荐阅读

request
Python爬虫_HTTP标准

文章目录简介HTTP请求过程HTTP状态码含义HTTP头部信息Cookie状态管理HTTP请求方式简介HTTP协议（超文本传输协议）是用于从WWW服务 ... [详细]

蜡笔小新 2023-10-15 14:59:43
request
使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例

本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤，可以获取到网站首页的新闻数据。代码示例使用Python编写，并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ... [详细]

蜡笔小新 2023-12-12 19:16:21
request
Python-图片和视频文件爬虫

最近在学Python，看了不少资料、视频，对爬虫比较感兴趣，爬过了网页文字、图片、视频。文字就不说了直接从网页上去根据标签分离出来就好了。图片和视频则需要在获取到相应的链接之后取做下载。以下是图片和视 ... [详细]

蜡笔小新 2023-10-15 09:28:43
split
Scrapy 爬取图片

1.创建Scrapy项目scrapystartprojectCrawlMeiziTuscrapygenspiderMeiziTuSpiderhttps:movie.douban.c ... [详细]

蜡笔小新 2023-10-14 15:02:27
split
爬虫05 /scrapy框架

目录爬虫06scrapy框架1.scrapy概述安装2.基本使用3.全栈数据的爬取4.五大核心组件对象5.适当提升scrapy爬取数据的效率6.请求传参爬虫06scrapy框架1. ... [详细]

蜡笔小新 2023-10-13 22:01:54
request
Python瓦片图下载、合并、绘图、标记的代码示例

本文提供了Python瓦片图下载、合并、绘图、标记的代码示例，包括下载代码、多线程下载、图像处理等功能。通过参考geoserver，使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法，供读者参考使用。 ... [详细]

蜡笔小新 2023-12-13 12:14:55
request
python爬虫如何使用代理ip,Python ip代理

博主使用代理IP来自于网上免费提供高匿IP的这个网站用到的库frombs4importBeautifulSoupimportrandomimporturllib.re ... [详细]

蜡笔小新 2023-10-13 18:52:58
instance
ECMA262规定typeof操作符的返回值和instanceof的使用方法

本文介绍了ECMA262规定的typeof操作符对不同类型的变量的返回值，以及instanceof操作符的使用方法。同时还提到了在不同浏览器中对正则表达式应用typeof操作符的返回值的差异。 ... [详细]

蜡笔小新 2023-12-10 17:31:51
select
css元素可拖动,如何使用CSS禁止元素拖拽？

一、用户行为三剑客以下3个CSS属性：user-select属性可以设置是否允许用户选择页面中的图文内容；user-modify属性可以设置是否允许输入 ... [详细]

蜡笔小新 2023-10-17 14:35:15
input
深入理解CSS中的margin属性及其应用场景

本文主要介绍了CSS中的margin属性及其应用场景，包括垂直外边距合并、padding的使用时机、行内替换元素与费替换元素的区别、margin的基线、盒子的物理大小、显示大小、逻辑大小等知识点。通过深入理解这些概念，读者可以更好地掌握margin的用法和原理。同时，文中提供了一些相关的文档和规范供读者参考。 ... [详细]

蜡笔小新 2023-12-12 18:01:10
input
使用@SerializedName注解解析json数据的方法

在Android中解析Gson解析json数据是很方便快捷的，可以直接将json数据解析成java对象或者集合。使用Gson解析json成对象时，默认将json里对应字段的值解析到java对象里对应字段的属性里面。然而，当我们自己定义的java对象里的属性名与json里的字段名不一样时，我们可以使用@SerializedName注解来将对象里的属性跟json里字段对应值匹配起来。本文介绍了使用@SerializedName注解解析json数据的方法，并给出了具体的使用示例。 ... [详细]

蜡笔小新 2023-12-11 19:04:09
header
响应式页面的概述和实现方式

本文介绍了响应式页面的概念和实现方式，包括针对不同终端制作特定页面和制作一个页面适应不同终端的显示。分析了两种实现方式的优缺点，提出了选择方案的建议。同时，对于响应式页面的需求和背景进行了讨论，解释了为什么需要响应式页面。 ... [详细]

蜡笔小新 2023-12-11 12:37:10
header
常用的CSS属性及用法整理

本文整理了常用的CSS属性及用法，包括背景属性、边框属性、尺寸属性、可伸缩框属性、字体属性和文本属性等，方便开发者查阅和使用。 ... [详细]

蜡笔小新 2023-12-09 03:01:43
select
mintui中的下拉加载，可以一直加载数据，怎么处理呢？

html结构 ... [详细]

蜡笔小新 2023-10-17 10:44:03
request
Python爬取豆瓣数据实现过程解析

这篇文章主要介绍了Python爬取豆瓣数据实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值, ... [详细]

蜡笔小新 2023-10-16 12:46:01

我叫巴吉度

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章