Linux命令学习手册-wget
wget [OPTION]... ...功能
wget 是一个从网络上自动下载文件的自由工具。它支持 HTTP , HTTPS 和 FTP 协议,可以使用 HTTP 代理商.
形容
所谓的自动下载是指, wget 可以在客户退出系统的之后在后端执行。这意味这你可以登录系统,启动一个 wget 下载任务,而后退出系统, wget 将在后端执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要客户一直的参加,这省去了极大的麻烦。
wget 可以跟踪 HTML 页面上的链接依次下载来创立远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候, wget 遵循 Robot Exclusion 标准(/robots.txt)。 wget 可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。
wget 非常稳固,它在带宽很窄的情况下和不稳固网络中有很强的适应性.假如是因为网络的起因下载失败, wget 会不断的尝试,直到整个文件下载完毕。假如是服务器打断下载过程,它会再次联到服务器上从中止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。
选项:
(1)启动时
-V,--version显示wget的版本后退出-h,--help打印语法帮助-b,--background启动后转入后端执行-e,--execute=COMMAND执行.wgetrc格式的命令,wgetrc格式参见/etc/wgetrc或者~/.wgetrc
(2)记录和输入文件
-o,--output-file=FILE把记录写到FILE文件中-a,--append-output=FILE把记录追加到FILE文件中-d,--debug打印调试输出-q,--quiet安静模式(没有输出)-v,--verbose冗长模式(这是缺省设置)-nv,--non-verbose关掉冗长模式,但不是安静模式-i,--input-file=FILE下载在FILE文件中出现的URLs-F,--force-html把输入文件当作HTML格式文件对待-B,--base=URL将URL作为在-F-i参数指定的文件中出现的相对链接的前缀--sslcertfile=FILE可选用户端证书--sslcertkey=KEYFILE可选用户端证书的KEYFILE--egd-file=FILE指定EGD socket的文件名
(3)下载
--bind-address=ADDRESS指定本地使用地址(主机名或者IP,当本地有多个IP或者名字时使用)-t,--tries=NUMBER设定最大尝试链接次数(0表示无限制)。-O--output-document=FILE把文档写到FILE文件中-nc,--no-clobber不要覆盖存在的文件或者使用.#前缀-c,--continue接着下载没下载完的文件--progress=TYPE设定进程条标记-N,--timestamping不要重新下载文件除非比本地文件新-S,--server-response打印服务器的回应--spider不下载任何东西-T,--timeout=SECONDS设定响应超时的秒数-w,--wait=SECONDS两次尝试之间间隔SECONDS秒--waitretry=SECONDS在重新链接之间等待1...SECONDS秒--random-wait在下载之间等待0...2*WAIT秒-Y,--proxy=on/off打开或者关闭代理商-Q,--quota=NUMBER设置下载的容量限制--limit-rate=RATE限定下载输率
(4)目录
-nd--no-directories不创立目录-x,--force-directories强制创立目录-nH,--no-host-directories不创立主机目录-P,--directory-prefix=PREFIX将文件保存到目录PREFIX/...--cut-dirs=NUMBER忽略NUMBER层远程目录
(5) HTTP 选项
--http-user=USER设定HTTP客户名为USER.--http-passwd=PASS设定http密码为PASS.-C,--cache=on/off允许/不允许服务器端的数据缓存 (一般情况下允许).-E,--html-extension将所有text/html文档以.html扩展名保存--ignore-length忽略Content-Length头域--header=STRING在headers中插入字符串STRING--proxy-user=USER设定代理商的客户名为USER--proxy-passwd=PASS设定代理商的密码为PASS--referer=URL在HTTP请求中包含Referer: URL头-s,--save-headers保存HTTP头到文件-U,--user-agent=AGENT设定代理商的名称为AGENT而不是Wget/VERSION.--no-http-keep-alive关闭HTTP活动链接 (永远链接) 。--cookies=off不使用cookies.--load-cookies=FILE在开始会话前从文件FILE中加载cookie--save-cookies=FILE在会话结束后将cookies保存到FILE文件中
(6) FTP 选项
-nr,--dont-remove-listing不移走.listing文件-g,--glob=on/off打开或者关闭文件名的globbing机制--passive-ftp使用被动传输模式 (缺省值).--active-ftp使用主动传输模式--retr-symlinks在递归的时候,将链接指向文件(而不是目录)
(7)递归下载
-r,--recursive递归下载--慎用!-l,--level=NUMBER最大递归深度 (inf或者0代表无穷).--delete-after在现在完毕后局部删除文件-k,--convert-links转换非相对链接为相对链接-K,--backup-converted在转换文件X之前,将之备份为X.orig-m,--mirror等价于-r -N -l inf -nr.-p,--page-requisites下载显示HTML文件的所有图片
(8)递归下载中的包含和不包含( accept/reject )
-A,--accept=LIST分号分隔的被接受扩展名的列表-R,--reject=LIST分号分隔的不被接受的扩展名的列表-D,--domains=LIST分号分隔的被接受域的列表--exclude-domains=LIST分号分隔的不被接受的域的列表--follow-ftp跟踪HTML文档中的FTP链接--follow-tags=LIST分号分隔的被跟踪的HTML标签的列表-G,--ignore-tags=LIST分号分隔的被忽略的HTML标签的列表-H,--span-hosts当递归时转到外部主机-L,--relative仅仅跟踪相对链接-I,--include-directories=LIST允许目录的列表-X,--exclude-directories=LIST不被包含目录的列表-np,--no-parent不要追溯到父目录
举例
已知将要下载的文件的网址,将文件下载到当前目录
$wget http://ibus.googlecode.com/files/ibus-chewing-1.2.0.20091211-Source.tar.gz这里,会在指定的网址下载相应的文件到当前目录中,并且会显示进度的。假如之前中断过,那么再次运行这个命令的时候,可能会另存为 ibus-chewing-1.1.0.20091211-Source.tar.gz.1 等等并且有点相似续传。
上次下载的文件在当前目录中继续下载
$wget -c http://ibus.googlecode.com/files/ibus-chewing-1.2.0.20091211-Source.tar.gz这里,会继续原价下载的进度开始续传,不会生成另外的 *.1 类的文件。
已知将要下载的文件的网址,将文件下载到指定目录
$wget -P test http://ibus.googlecode.com/files/ibus-hangul-1.2.0.20091031.tar.gz这里,会将文件下载到目录 ./test 中,并且假如 test 不存在则会自动创立。
已知将要下载的文件的网址,将文件下载文件名为 test.zip
$wget http://sourceforge.net/projects/peerguardian/files/PeerGuardian%20Linux/PG%20linux%201.5beta/ipcop-pglinux-1.5beta.zip/download -O test.zip这里,使用 -O 选项指定要另存的文件名字。
下载的时候将下载速度限制为 10k
$wget --limit-rate=10k http://sourceforge.net/projects/peerguardian/files/PeerGuardian%20Linux/PG%20linux%201.5beta/ipcop-pglinux-1.5beta.zip/download这样,下载的速度限制为 10k ,这在网络带宽有限的情况下非常有用。默认单位字节,可以加上 k , m 表示 k 和兆。
从有帐户的 ftp 上面下载单个文件
$wget --user=quietheart --password=123 ftp://10.1.14.235/EBookReader/K1/doc/EBook_K1_RTM.xls这里需要指定客户和密码.
从有帐户的 ftp 上面下载指定的多个文件
$wget --user=quietheart --password=123 -B ftp://10.1.14.235/EBookReader/K1/doc/ -i filelist这里,用 filelist 来指定将要下载的文件, filelist 的内容是:
K1_SoftwareBehavioralSpecification-EmbeddedLinux_v0.0.2.pdf EBook_K1_RTM.xls UISpec/K1_Spec_V0_1/add highlight-2.bmp UISpec/K1_Spec_V0_1/wait.bmp所以,下载的就是 filelist 中指定的四个文件。
注意:
wget命令-B指定的目录前缀最后要有/如doc/filelist文件中的文件名称中假如有空格不用转义,如add highlight-2.bmp。
从有帐户的 ftp 上面下载文件和目录
$wget --user=quietheart --password="123" -m ftp://10.1.14.235/User_Temp/lvkai/download/test1或者
$wget --user=quietheart --password="123" -r ftp://10.1.14.235/User_Temp/lvkai/download/test1这里,需要使用 -m 或者者 -r ,下载之后在当前目录下生成一个 10.1.14.235 目录,而后会依次深入直到 test1 的内容。
用 -l 指定层次
$wget --user=quietheart --password="123" -r --level=2 ftp://10.1.14.235/User_Temp/lvkai/download/test1这样,下载只递归两层, test1 下面的子目录以及内容都不会被下载了。
下载 qt4.5 网站上的在线文档
$wget \ --recursive \ --no-clobber \ --page-requisites \ --html-extension \ --convert-links \ --restrict-file-names=windows \ --domains doc.qt.nokia.com \ --no-parent \ http://doc.qt.nokia.com/4.5/这样,大约从 16:45 下载,到 17:15 左右结束( 48M ),下下来的文件假如没有限制就和直接在网上看一样了。
每个项的含义:
--recursive:递归去下载(简写-r)--domainsdoc.qt.nokia.com:限制只下载那个域名(简写-D ***)--no-parent:不要下载这个目录上边的文件(简写-np)--page-requisites:下载页面所包括的一切对象(简写-p)--html-extension:把文件按html格式存放(简写-E)--convert-links:把页面中的连接转化为本地的连接(简写-k)--restrict-file-names=windows:格式化文件名使可以在Windows下查看.--no-clobber:不要复盖任何文件(简写-nc)
下载一个特定网站的子网站(例如自己的博客)
$wget \ --recursive \ --no-clobber \ --page-requisites \ --html-extension \ --convert-links \ --restrict-file-names=windows \ --domains blog.chinaunix.net \ --no-parent \ http://blog.chinaunix.net/u1/34500/这样,就将自己的博客下载到本地机器上面了,相当于一个离线版本的备份。
其余
参考(未实践): http://www.mysqlpub.com/redirect.php?tid=755&goto=lastpost
用 wget 做站点镜像
$wget -r -p -np -k [url]http://dsec.pku.edu.cn/~usr_name/或者者
$wget -m http://www.tldp.org/LDP/abs/html/在不稳固的网络上下载一个部分下载的文件,以及在空闲时段下载
$wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &或者者从 filelist 读入要下载的文件列表
$wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在 mozilla 中将不方便当时下载的 URL 链接拷贝到内存中而后粘贴到文件 filelist.txt 中,在晚上要出去系统前执行上面代码的第二条。
使用代理商下载
$wget -Y on -p -k https://sourceforge.net/projects/wvware/代理商可以在环境变量或者 wgetrc 文件中设定,如下:
在环境变量中设定代理商:
$export PROXY=http://211.90.168.94:8080/在 ~/.wgetrc 中设定代理商:
http_proxy = http://proxy.yoyodyne.com:18023/ ftp_proxy = http://proxy.yoyodyne.com:18023/问题
wget各种选项分类列表- 在递归下载的时候,遇到目录中中文的时候,
wget创立的本地目录名会用URL编码规则解决。如”天网防火墙”会被存为%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD,这造成阅读上的极大不方便。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Linux命令学习手册-wget