python怎么爬取电影海报_Python爬虫“王者”：豆瓣海报爬取

我这里就以女神王祖贤的海报来作为例子。

翻页分析

在豆瓣电影中搜索“王祖贤”，进入王祖贤主页后，点击全部影人图片，进入到影人图片页面。

在该页面点击下一页，可以看到浏览器的 URL 变化如下：

https://movie.douban.com/celebrity/1166896/photos/?type=C&start=30&sortby=like&size=a&subtype=a

继续使用 Postman 来分析 URL，可以很轻松的得知，start 就是类似于 page 的页数控制参数，而且步长为 30，即第一页是 start = 0，第二页为 start = 30，第三页为 start = 60，以此类推。

详情页分析

使用 Network 来查看页面上的图片信息：

这里我们得到了两个信息：

a 标签中的链接可以得到每张图片的评论信息；

img 标签中的链接可以用来保存女神的海报。

对于这两个信息 url，可以分别返回：

&＃39;&＃39;&＃39;

更多Python学习资料以及源码教程资料，可以在群821460695 免费获取

&＃39;&＃39;&＃39;

def get_posters():

comment_url_list = []

picture_list = []

for i in range(0, 40000, 30):

url = &＃39;https://movie.douban.com/celebrity/1166896/photos/?type=C&start=%s&sortby=like&size=a&subtype=a&＃39; % str(i)

req = requests.get(url).text

cOntent= BeautifulSoup(req, "html.parser")

chekc_point = content.find(&＃39;span&＃39;, attrs={&＃39;class&＃39;: &＃39;next&＃39;}).find(&＃39;a&＃39;)

if chekc_point != None:

data = content.find_all(&＃39;div&＃39;, attrs={&＃39;class&＃39;: &＃39;cover&＃39;})

for k in data:

ulist = k.find(&＃39;a&＃39;)[&＃39;href&＃39;]

plist = k.find(&＃39;img&＃39;)[&＃39;src&＃39;]

comment_url_list.append(ulist)

picture_list.append(plist)

else:

break

return comment_url_list, picture_list

之后，就可以下载海报了。

评论获取

然后我们手动跳转到每周海报的详情页面，继续查看评论信息。

通过 BeautifulSoup 可以很容易地获得评论信息，然后保存到 MongoDB 中。

def get_comment(comment_l):

client = pymongo.MongoClient(&＃39;mongodb://douban:douban1989@ds149744.mlab.com:49744/douban&＃39;)

db = client.douban

mongo_collection = db.comment

comment_list = []

comment = []

print("Save to MongoDB")

for i in comment_l:

respOnse= requests.get(i).text

cOntent= BeautifulSoup(response, "html.parser")

tmp_list = content.find_all(&＃39;div&＃39;, attrs={&＃39;class&＃39;: &＃39;comment-item&＃39;})

comment_list = comment_list + tmp_list

for k in comment_list:

tmp_comment = k.find(&＃39;p&＃39;).text

mongo_collection.insert_one({&＃39;comment&＃39;: tmp_comment})

comment.append(tmp_comment)

print("Save Finish!")