转载:wget的使用方法

作者：Sheen2602906613 | 来源：互联网 | 2017-09-13 01:20

转载:wget的使用方法--Linux通用技术-Linux技术与应用信息，下面是详情阅读。

wget [参数列表] URL
首先来介绍一下wget的主要参数：
· -b：让wget在后台运行，记录文件写在当前目录下"wget-log"文件中；
· -t [nuber of times]：尝试次数，当wget无法与服务器建立连接时，尝试连接多少次
。比如"-t
120"表示尝试120次。当这一项为"0"的时候，指定尝试无穷多次直到连接成功为止，这个设置非常有用，当对方服务器突然关机或者网络突然中断的时候，可以在恢复正常后继续下载没有传完的文件；
·
-c：断点续传，这也是个非常有用的设置，特别当下载比较大的文件的时候，如果中
途意外中断，那么连接恢复的时候会从上次没传完的地方接着传，而不是又从头开始，使
用这一项需要远程服务器也支持断点续传，一般来讲，基于UNIX/Linux的Web/FTP服务器
都支持断点续传；
· -T [number of seconds]：超时时间，指定多长时间远程服务器没有响应就中断连接
，开始下一次尝试。比如"-T 120"表示如果120秒以后远程服务器没有发过来数据，就重新尝试连接。如果网络速度比较快，这个时间可以设置的短些，相反，可以设置的长一些，一般最多不超过900，通常也不少于60，一般设置在120左右比较合适；
· -w [number of seconds]：在两次尝试之间等待多少秒，比如"-w 100"表示两次尝试之间等待100秒；
· -Y on/off：通过／不通过代理服务器进行连接；
· -Q [byetes]：限制下载文件的总大小最多不能超过多少，比如"-Q2k"表示不能超过2K 字节，"-Q3m"表示最多不能超过3M字节，如果数字后面什么都不加，就表示是以字节为单位，比如"-Q200"表示最多不能超过200字节；
· -nd：不下载目录结构，把从服务器所有指定目录下载的文件都堆到当前目录里；
· -x：与"-nd"设置刚好相反，创建完整的目录结构，例如"wget -nd http://www.gnu.org"将创建在当前目录下创建"www.gnu.org"子目录，然后按照服务器实际的目录结构一级一级建下去，直到所有的文件都传完为止；
· -nH：不创建以目标主机域名为目录名的目录，将目标主机的目录结构直接下到当前目录下；
· --http-user=username
· --http-passwd=password：如果Web服务器需要指定用户名和口令，用这两项来设定；
· --proxy-user=username
· --proxy-passwd=password：如果代理服务器需要输入用户名和口令，使用这两个选项；
· -r：在本机建立服务器端目录结构；
· -l [depth]：下载远程服务器目录结构的深度，例如"-l 5"下载目录深度小于或者等于5以内的目录结构或者文件；
· -m：做站点镜像时的选项，如果你想做一个站点的镜像，使用这个选项，它将自动设定其他合适的选项以便于站点镜像；
· -np：只下载目标站点指定目录及其子目录的内容。这也是一个非常有用的选项，我们假设某个人的个人主页里面有一个指向这个站点其他人个人主页的连接，而我们只想下载这个人的个人主页，如果不设置这个选项，甚至--有可能把整个站点给抓下来，这显然是
我们通常不希望的；
ü 如何设定wget所使用的代理服务器
wget
可以使用用户设置文件".wgetrc"来读取很多设置，我们这里主要利用这个文件来是
设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的".wgetrc"文件就起
作用。例如，"root"用户如果想使用".wgetrc"来设置代理服务器，"/root/.wgert"就起
作用，下面给出一个".wge trc"文件的内容，读者可以参照这个例子来编写自己的"wgetrc"文件：
http_proxy = 111.111.111.111:8080
ftp_proxy = 111.111.111.111:8080
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第一行指定
HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。

　　用法: wget [选项]... [URL]...
　　命令的引数使用长项目与短项目相同.
　　启动:
　　-V, --version显示Wget的版本并且离开.
　　-h, --help显示这个说明档.
　　-b, -background在启动之後跳到背景去.
　　-e, -execute=COMMAND执行一个`.wgetrc'里面的COMMAND指令.
　　纪录档与输入的档案:
　　-o, --output-file=FILE纪录讯息到FILE去.
　　-a, -append-output=FILE增加讯息到FILE去.
　　-d, --debug显示除错的输出.
　　-q, --quiet安静模式(不输入任何讯息).
　　-v, --verbose冗长模式(这是内定值).
　　-nv, --non-verbose关闭verboseness,但不是安静模式.
　　-i, --input-file=FILE从FILE读取URL .
　　-F, --force-html把输入的档案当作HTML.
　　下载:
　　-t, --tries=NUMBER设定重复尝试NUMBER次(0是无限制).
　　-O --output-document=FILE把文件写到FILE里.
　　-nc, --no-clobber不破坏已经存在的档案.
　　-c, --continue重新取得一个已经存在的档案.
　　--dot-style=STYLE设定取回状况的显示风格.
　　-N, --timestamping不取回比本地旧的档案.
　　-S, --server-response显示伺服器回应状况.
　　--spider不下载任何东西.
　　-T, --timeout=SECONDS设定读取时超过的时间为SECONDS秒.
　　-w, --wait=SECONDS在取回档案时等待SECONDS秒.
　　-Y, --proxy=on/off开启或关闭Proxy.
　　-Q, --quota=NUMBER设定取回档案的定额限制为NUMBER个.
　　目录:
　　-nd --no-directories不建立目录.
　　-x, --force-directories强制进行目录建立的工作.
　　-nH, --no-host-directories不建立主机的目录.
　　-P, --directory-prefix=PREFIX把档案存到PREFIX/...
　　--cut-dirs=NUMBER忽略NUMBER个远端的目录元件.
　　HTTP选项:
　　--http-user=USER设http使用者为USER.
　　--http0passwd=PASS设http使用者的密码为PASS.
　　-C, --cache=on/off提供/关闭快取伺服器资料(正常情况为提供).
　　--ignore-length忽略`Content-Length'标头栏位.
　　--proxy-user=USER设USER为Proxy使用者名称.
　　--proxy-passwd=PASS设PASS为Proxy密码.
　　-s, --save-headers储存HTTP标头成为档案.
　　-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作为识别代号.
　　FTP选项:
　　--retr-symlinks取回FTP的象徵连结.
　　-g, --glob=on/off turn file name globbing on ot off.
　　--passive-ftp使用"passive"传输模式.
　　使用递回方式的取回:
　　-r, --recursive像是吸入web的取回--请小心使用!.
　　-l, --level=NUMBER递回层次的最大值(0不限制).
　　--delete-after删除下载完毕的档案.
　　-k, --convert-links改变没有关连的连结成为有关连.
　　-m, --mirror开启适合用来映射的选项.
　　-nr, --dont-remove-listing不要移除`.listing'档.
　　递回式作业的允许与拒绝选项:
　　-A, --accept=LIST允许的扩充项目的列表.
　　-R, --reject=LIST拒绝的扩充项目的列表.
　　-D, --domains=LIST允许的网域列表.
　　--exclude-domains=LIST拒绝的网域列表(使用逗号来分隔).
　　-L, --relative只跟随关联连结前进.
　　--follow-ftp跟随HTML文件里面的FTP连结.
　　-H, --span-hosts当开始递回时便到外面的主机.
　　-I, --include-directories=LIST允许的目录列表.
　　-X, --exclude-directories=LIST排除的目录列表.
　　-nh, --no-host-lookup不透过DNS查寻主机.
　　-np, --no-parent不追朔到起源目录.
　　范例一：mirror一个网站
　　wget -r www.redhat.com
　　范例二：mirror一个网站下的某个目录：
　　wget -r
www.redhat.com/mirrors/LDP

export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128
3、用wget下载整个站点
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 将绝对链接转换为相对链接。
-m 就等价于递归下载+除非远程文件较新，否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, --no-parent 不搜索上层目录。
注意其中-d只是输出下载信息，换成-q就变成“安静”下载了。
另外还有两个选项可能会有用到。
-b：让wget在后台运行
-c：断点续传

推荐阅读

perl
Nginx使用AWStats日志分析的步骤及注意事项

本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息，并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境，并进行DNS解析。 ... [详细]

蜡笔小新 2023-12-14 19:42:01
hash
数据库的存储结构及其重要性

本文介绍了数据库的存储结构及其重要性，强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离，可以实现对物理存储的重新组织和数据库的迁移，而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构，并介绍了表空间的概念和作用。 ... [详细]

蜡笔小新 2023-12-14 16:00:02
go
微软头条实习生分享深度学习自学指南

本文介绍了一位微软头条实习生自学深度学习的经验分享，包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性，并提供了一些建议。 ... [详细]

蜡笔小新 2023-12-14 20:58:32
default
如何实现织梦DedeCms全站伪静态

本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态，以提高管理和SEO效果。全站伪静态可以避免重复URL的问题，同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式，可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具，如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]

蜡笔小新 2023-12-14 19:45:47
default
CentOS7.0 U盘刻录工具使用方法详解

本文介绍了使用CentOS7.0 U盘刻录工具进行安装的详细步骤，包括使用USBWriter工具刻录ISO文件到USB驱动器、格式化USB磁盘、设置启动顺序等。通过本文的指导，用户可以轻松地使用U盘安装CentOS7.0操作系统。 ... [详细]

蜡笔小新 2023-12-14 18:55:14
go
解决Docker中volume的权限问题的方法

在Docker中，将主机目录挂载到容器中作为volume使用时，常常会遇到文件权限问题。这是因为容器内外的UID不同所导致的。本文介绍了解决这个问题的方法，包括使用gosu和suexec工具以及在Dockerfile中配置volume的权限。通过这些方法，可以避免在使用Docker时出现无写权限的情况。 ... [详细]

蜡笔小新 2023-12-14 18:48:02
ip
Python高级之网络编程及TCP/IP协议簇的OSI七层模型介绍

本文介绍了Python高级网络编程及TCP/IP协议簇的OSI七层模型。首先简单介绍了七层模型的各层及其封装解封装过程。然后讨论了程序开发中涉及到的网络通信内容，主要包括TCP协议、UDP协议和IPV4协议。最后还介绍了socket编程、聊天socket实现、远程执行命令、上传文件、socketserver及其源码分析等相关内容。 ... [详细]

蜡笔小新 2023-12-14 18:16:27
go
学习SLAM的女生，很酷

本文介绍了学习SLAM的女生的故事，她们选择SLAM作为研究方向，面临各种学习挑战，但坚持不懈，最终获得成功。文章鼓励未来想走科研道路的女生勇敢追求自己的梦想，同时提到了一位正在英国攻读硕士学位的女生与SLAM结缘的经历。 ... [详细]

蜡笔小新 2023-12-14 17:55:18
ip
CSS3选择器的使用方法详解，提高Web开发效率和精准度

本文详细介绍了CSS3新增的选择器方法，包括属性选择器的使用。通过CSS3选择器，可以提高Web开发的效率和精准度，使得查找元素更加方便和快捷。同时，本文还对属性选择器的各种用法进行了详细解释，并给出了相应的代码示例。通过学习本文，读者可以更好地掌握CSS3选择器的使用方法，提升自己的Web开发能力。 ... [详细]

蜡笔小新 2023-12-14 14:37:52
input
Open judge C16H: Magical Balls 快速幂+逆元问题解析

本文主要解析了Open judge C16H问题中涉及到的Magical Balls的快速幂和逆元算法，并给出了问题的解析和解决方法。详细介绍了问题的背景和规则，并给出了相应的算法解析和实现步骤。通过本文的解析，读者可以更好地理解和解决Open judge C16H问题中的Magical Balls部分。 ... [详细]

蜡笔小新 2023-12-14 12:03:27
go
知识图谱——机器大脑中的知识库

本文介绍了知识图谱在机器大脑中的应用，以及搜索引擎在知识图谱方面的发展。以谷歌知识图谱为例，说明了知识图谱的智能化特点。通过搜索引擎用户可以获取更加智能化的答案，如搜索关键词"Marie Curie"，会得到居里夫人的详细信息以及与之相关的历史人物。知识图谱的出现引起了搜索引擎行业的变革，不仅美国的微软必应，中国的百度、搜狗等搜索引擎公司也纷纷推出了自己的知识图谱。 ... [详细]

蜡笔小新 2023-12-14 10:06:19
io
Linux进程控制块PCBtask_struct结构体结构及作用详解

本文详细介绍了Linux中进程控制块PCBtask_struct结构体的结构和作用，包括进程状态、进程号、待处理信号、进程地址空间、调度标志、锁深度、基本时间片、调度策略以及内存管理信息等方面的内容。阅读本文可以更加深入地了解Linux进程管理的原理和机制。 ... [详细]

蜡笔小新 2023-12-13 21:31:18
io
图解redis的持久化存储机制RDB和AOF的原理和优缺点

本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件，恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘，实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点，帮助读者更好地理解redis的持久化存储策略。 ... [详细]

蜡笔小新 2023-12-13 20:24:11
go
推荐系统遇上深度学习(十七）详解推荐系统中的常用评测指标

原创：石晓文小小挖掘机2018-06-18笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值， ... [详细]

蜡笔小新 2023-12-13 19:35:25
perl
Linux下Perl的安装及第一个程序运行

本文介绍了在Linux下安装Perl的步骤，并提供了一个简单的Perl程序示例。同时，还展示了运行该程序的结果。 ... [详细]

蜡笔小新 2023-12-13 18:29:11

Sheen2602906613

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章