Python3获取大量电影信息

其实在实际运作中，根本就不需要爬虫，只需要一点简单的Python基础就可以了。

前置需求：

Python3语法基础

HTTP网络基础

第一步，确定API的提供方。IMDb是最大的电影数据库，与其相对的，有一个OMDb的网站提供了API供使用。这家网站的API非常友好，易于使用。

http://www.omdbapi.com/

第二步，确定网址的格式。

为什么我要使用Requests，不使用urllib.request呢？

因为Python的这个库容易出各种各样的奇葩问题，我已经受够了……

第四步，编写Python代码。

我想做的是，逐行读取文件，然后用该行的电影名去获取电影信息。因为源文件较大，readlines()不能完全读取所有电影名，所以我们逐行读取。

import requests

for line in open("movies.txt"):
    s=line.split(&＃39;%20\n&＃39;)
    urll=&＃39;http://www.omdbapi.com/?t=&＃39;+s[0]
    result=requests.get(urll)
    if result:
        json=result.text
        print(json)
        p=open(&＃39;result0.json&＃39;,&＃39;a&＃39;)
        p.write(json)
        p.write(&＃39;\n&＃39;)
        p.close()

我预先把电影名文件全部格式化了一遍，将所有的空格替换成了"%20"，便于使用API（否则会报错）。这个功能可以用Visual Studio Code完成。

第五步，做优化和异常处理。

主要做三件事，第一件事，控制API速度，防止被服务器屏蔽；

第二件事，获取API key（甚至使用多个key）

第三件事：异常处理。

import requests 3 
key=[‘’]

for line in open("movies.txt"):
    try:
        #……
    except TimeoutError:
        continue
    except UnicodeEncodeError:
        continue
    except ConnectionError:
        continue

下面贴出完整代码：

# -*- coding: utf-8 -*-

import requests
import time

key=[&＃39;xxxxx&＃39;,&＃39;yyyyy&＃39;,zzzzz&＃39;,&＃39;aaaaa&＃39;,&＃39;bbbbb&＃39;]
i=0

for line in open("movies.txt"):
    try:
        i=(i+1)%5
        s=line.split(&＃39;%20\n&＃39;)
        urll=&＃39;http://www.omdbapi.com/?t=&＃39;+s[0]+&＃39;&apikey=&＃39;+key[i]
        result=requests.get(urll)
        if result:
            json=result.text
            print(json)
            p=open(&＃39;result0.json&＃39;,&＃39;a&＃39;)
            p.write(json)
            p.write(&＃39;\n&＃39;)
            p.close()
            time.sleep(1)
    except TimeoutError:
        continue
    except UnicodeEncodeError:
        continue
    except ConnectionError:
        continue

接下来喝杯茶，看看自己的程序跑得怎么样吧！