python爬虫需要安装什么

回车后弹出chrome浏览器界面

3.4 安装其他浏览器

无界面浏览器phantomjs

下载网址：http://phantomjs.org/

下载完成后解压，把整个目录放到D:\Python3.6.0\Scripts\，把bin目录的路径添加到PATH变量

验证：

打开CMD

phantomjs
console.log(&＃39;phantomjs&＃39;)

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get(&＃39;http://www.baidu.com&＃39;)
driver.page_source

2. 解析库：

2.1 lxml (XPATH)

打开CMD

pip3 install lxml

或者从https://pypi.python.org下载，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打开CMD，需要先安装好lxml

pip3 install beautifulsoup4

验证

python
from bs4 import BeautifulSoup
soup = BeautifulSoup(&＃39;&＃39;,&＃39;lxml&＃39;)

2.3 pyquery（类似jquery语法）

打开CMD

pip3 install pyquery

验证安装结果

python
from pyquery import PyQuery as pq
doc = pq(&＃39;hi&＃39;)
result = doc(&＃39;html&＃39;).text()
result

3.2 pymongo（操作MongoDB，key-value）

安装

pip3 install pymongo

验证

python
import pymongo
client = pymongo.MongoClient(&＃39;localhost&＃39;)
db = client[&＃39;testdb&＃39;]
db[&＃39;table&＃39;].insert({&＃39;name&＃39;:&＃39;bob&＃39;})
db[&＃39;table&＃39;].find_one({&＃39;name&＃39;:&＃39;bob&＃39;})

4.2 Django（分布式爬虫维护系统）

pip3 install django

4.3 jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）

pip3 install jupyter

验证：

打开CMD

jupyter notebook

之后就可以在网页直接创建记事本，代码块和Markdown块，支持打印

【