【爬虫学习三】Python将爬取的数据存储到MongoDB中

本内容衔接 &＃xff1a; 爬虫学习二

一&＃xff1a; 下载并安装 MongoDB

下载链接&＃xff1a;http://dl.mongodb.org/dl/win32/x86_64

照着这篇博客配置完就行&＃xff1a;配置MongoDB

二&＃xff1a;在pycharm中安装Mongo Plugin

File → settings → plugins 输入mongo 安装 Mongo Plugin

安装成功后重启pycharm生效

三&＃xff1a; 将数据存入MongoDB中

import requests
import time
import pymongoclient &＃61; pymongo.MongoClient(&＃39;localhost&＃39;,27017) #创建连接book_weather &＃61; client[&＃39;weather&＃39;] #创建名为 "weather" 的数据库sheet_weather &＃61; book_weather[&＃39;sheet_weather&＃39;] #在"weather"数据库中建表"sheet_weather"url &＃61; &＃39;http://cdn.heweather.com/china-city-list.txt&＃39; #国内城市IDdata &＃61; requests.get(url) #获取网页数据data.encoding &＃61; &＃39;utf8&＃39; #数据的编码方式为utf8&＃xff0c;否则会乱码data1 &＃61; data.text.split("\n") #通过split将文本转换为列表for i in range(6): #删除前6行不需要的数据data1.remove(data1[0])for item in data1:#接口链接中的key后面的xxx改为自己刚刚注册的key,location后加上城市IDurl &＃61; &＃39;https://free-api.heweather.net/s6/weather/forecast?key&＃61;xxx&location&＃61;&＃39; &＃43; item[2:13]data2 &＃61; requests.get(url)data2.encoding &＃61; &＃39;utf8&＃39;#time.sleep(1) #避免访问服务器过于频繁&＃xff0c;每次访问等待1s(这里可以不加)dic &＃61; data2.json()sheet_weather.insert_one(dic) #向表中插入数据

运行结果&＃xff1a;
&＃xff08;1&＃xff09;成功创建数据库

&＃xff08;2&＃xff09; 双击表后看到内容&＃xff08;可以查看JSON的数据结构&＃xff09;&＃xff1a;

四&＃xff1a; MongoDB数据库查询

$lt 表示符号 <
$lte 表示符号<&＃61;
$gt 表示符号 >
$gte 表示符号>&＃61;

找出今日最高温度大于20度的城市

import pymongoclient &＃61; pymongo.MongoClient(&＃39;localhost&＃39;,27017) #创建连接book_weather &＃61; client[&＃39;weather&＃39;]sheet_weather &＃61; book_weather[&＃39;sheet_weather&＃39;]# for item in sheet_weather.find():
# tmp &＃61; item["HeWeather6"][0]["daily_forecast"][0][&＃39;tmp_max&＃39;]#将最高温度设置为int类型,第一个参数表示要更新的条件#第二个参数表四要更新的信息
# sheet_weather.update_one({&＃39;_id&＃39;:item[&＃39;_id&＃39;]},{&＃39;$set&＃39;:{&＃39;HeWeather6.0.daily_forecast.0.tmp_max&＃39;:int(tmp)}})for item in sheet_weather.find({&＃39;HeWeather6.0.daily_forecast.0.tmp_max&＃39;:{&＃39;$gt&＃39;:20}}):print(item[&＃39;HeWeather6&＃39;][0][&＃39;basic&＃39;][&＃39;location&＃39;])


运行结果&＃xff1a;

找出今日为西北风的城市&＃xff1a;

import pymongocilent &＃61; pymongo.MongoClient(&＃39;localhost&＃39;,27017)book_weather &＃61; cilent[&＃39;weather&＃39;]sheet_weather &＃61; book_weather[&＃39;sheet_weather&＃39;]for item in sheet_weather.find({&＃39;HeWeather6.0.daily_forecast.0.wind_dir&＃39;:&＃39;西北风&＃39;}):print(item[&＃39;HeWeather6&＃39;][0][&＃39;basic&＃39;][&＃39;location&＃39;])


运行结果&＃xff1a;