Linux wget是一个linux命令行下的文件下载工具。对付Linux运维职员来说,是必备的工具,wget工具体积小,但功能完善,它支持断点下载功能,同时支持FTP和HTTP、HTTPS下载办法,支持代理做事器,利用起来也很方便大略。其格式如下:
wget [要下载软件的网址]
2.wget实战举例
(1)利用wget下载单个文件
以下的例子是从网络下载一个linux-4.0.2版本内核,可以利用以下命令
wget https://mirrors.edge.kernel.org/pub/linux/kernel/v4.x/linux-4.14.100.tar.gz
不才载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速率,剩余下载韶光)。
(2)利用wget下载文件并以不同的文件名保存
这要通过wget -O参数实现,wget默认会以url末了一个符号”/”的后面的字符来命名,这对付动态链接的下载文件名常日会禁绝确。 例如下面的URL:
http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror
通过wget下载后,会下载一个名为mirror的文件,为理解决这个问题,我们可以利用参数-O来指定一个文件名:
wget -O php-7.3.2.tar.bz2 http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror
(3)利用wget 的“-limit -rate”参数进行限速下载
当我们实行wget的时候,它默认会占用全部可能的宽带下载。但是当我们准备在线上做事器下载一个大文件时,为了不让wget耗尽带宽影响业务,就必须对wget进行限速了。
wget --limit-rate=1M http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
这是限速1MB/s进行传输。
(4)利用wget -c断点续传
当我们要下载的文件特殊大,而我们所在的网络速率又特殊慢的时候,可能会涌现一个文件还没有下载完,而网络就已经中断了的情形,此时如果没有断点续传功能,又要重新下载,这切实其实是噩梦,但wget就考虑到这点了,它支持断点续传,并且wget的断点续传是自动的,只须要利用-c参数即可,看下图操作:
断点续传对付我们下载大文件时溘然由于网络等缘故原由中断非常有帮助,我们可以连续接着下载而不是重新下载一个文件。
须要把稳的是:利用断点续传哀求做事器端支持断点续传。怎么测试呢,看下面这这个部分。
(5)测试做事器是否支持断点续传
常日情形下,Web做事器(如Apache、nginx)会默认开启对断点续传的支持。因此,如果直接通过Web做事器来供应文件的下载,可以不必做特殊的配置,即可享受到断点续传的好处。断点续传是在发起HTTP要求的时候加入RANGE头来见告做事器客户端已经下载了多少字节。等所有这些要求都返回之后,再把得到的内容一块一块的拼接起来得到完全的资源。
wget -S http://mirrors.163.com 2>&1 |grep "Accept-Ranges"wget -S https://mirrors.aliyun.com/centos/timestamp.txt 2>&1|grep Ranges
输出结果中如果有“Accept-Ranges: bytes”,解释做事器支持按字节断点续传下载。
(6)让wget在后台自动下载
对付下载非常大的文件的时候,我们可以利用参数“-b”,让wget进行后台下载。看下图所示:
我们可以利用“tail -f wget-log”命令来察看下载进度。
(7)给wget下载增加重试次数和超时时间
如果网络有问题或下载一个大文件有可能会失落败。此时,wget默认重试20次连接下载文件。如果须要,我们可以利用“-t/--tries”增加重试次数。 同理,还可以利用“-T/ --timeout”设置连接超时时间。
个中“-t”参数表示重试次数,例如须要重试10次,那么就写“-t 10”,如果设成“-t 0”,那么表示无穷次重试,直到连接成功。“-T”参数表示超时等待韶光,例如“-T 120”,表示等待120秒连接不上就算超时。 来看下图:
(8)利用wget 批量下载多个文件
有时候要下载的文件很多,怎么实现批量下载呢,很大略,首先,保存一份下载文件链接的列表, 例如:
cat > filelist.txt url1 url2 url3 url4
接着利用这个文件和参数“i”即可实现批量下载 ,看下图操作:
(9)利用wget递归镜像网站
看到一个网站很俊秀,想下载下来学习一下,无奈页面太多,怎么办,wget一个命令就能轻松搞定,wget加上参数之后,即可成为相称强大的下载工具,并可以将下载的页面中的链接转换为本地链接,让你瞬间拥有一个想要的网站。
下面的例子是下载全体网站到本地确当前目录下:
wget -r -p -np -k http://www.xxx.com
个中,用到了几个参数,含义如下:
-r, --recursive:表示递归下载页面,会下载所有的链接,不过要把稳的是,不要单独利用这个参数,由于如果你要下载的网站也有别的网站的链接,那么wget也会把别的网站的东西下载下来,以是还要加上“-np”这个参数,表示不下载别的站点的链接。-np,表示不下载第三方站点的链接。-k, --convert-links:表示将下载的网页里的链接修正为本地链接。-p, --page-requisites: 表示下载所有的图片、js、css等页面显示所需的内容元素。
(10)通过wget下载文件到指定目录
在进行编写运维自动化脚本的时候,会有自动下载文件到指定目录的需求,此时就须要用到wget的“-P”参数,通过指定“-P”参数可以下载文件到指定目录,例如:
[root@iZ23sl33esbZ ~]# wget http://mirrors.163.com/centos/timestamp.txt -P /tmp/
这样下载的文件timestamp.txt会自动保存到系统的/tmp目录下。