linux下载镜像的命令wget,Linuxwget命令整站下载做网站镜像

wget -m -e robots&＃61;off -U “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6” “http://www.example.com/”

wget命令 参数注释&＃xff1a;

“-e robots&＃61;off”  让wget耍流氓无视robots.txt协议

或者改成

-U “Baiduspider&＃43;(&＃43;http://www.baidu.com/search/spider.htm)” 模拟百度蜘蛛爬行

这个命令可以以递归的方式下载整站&＃xff0c;并可以将下载的页面中的链接转换为本地链接。

wget加上参数之后&＃xff0c;即可成为相当强大的下载工具。

wget -r -p -np -k http://xxx.com/abc/

-r,  –recursive(递归)          specify recursive download.(指定递归下载)

-k,  –convert-links(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)

-p,  –page-requisites(页面必需元素)    get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)

-np, –no-parent(不追溯至父级)          don’t ascend to the parent directory.

另外断点续传用-nc参数 日志 用-o参数

熟练掌握wget命令&＃xff0c;可以帮助你方便的使用linux。

如果需要查阅完整详细的帮助说明可以看这里&＃xff1a;wget 中文详细使用说明

打赏

微信扫一扫&＃xff0c;打赏作者吧&＃xff5e;