wget    wget url    wget url1 url2 url3    wget url -O outname.jpg -o wget.log #-O指定下载后的文件名，-o指定默认显示在stdout下载信息和进度到文件。    wget -t 5 url #网络连接中断重试5次。    wget --limit-rate 20k url    wget --limit-rate 20m url #下载限速    wget --quota 100m url1 url2 #限制本次下载的所有文件磁盘使用量。    wget --Q 100m url1 url2 #限制本次下载的所有文件磁盘使用量。    wc -c url #断点续传，从断点开始下载。    wget --mirror test.com #镜像网站，像爬虫一样以递归方式收集网页上所有的URL链接，或才下面这种方式    wget -r -N -l DEPTH URL #-l指定页面层级DEPTH，该选项要和-r（递归）同时使用，-N对使用时间戳。    wget --user name --password password URL #访问需要认证的HTTP或FTP页面    wget --user name --ask-password URL #不直接指定，由网页提示，手动输入密码。

curl    curl http://test.com > index.html #curl默认把下载内容写入到stdout,所以必须使用重定向。不用指定到具体文件    curl http://test.com/index.php -O --silent #不写入到stdout，使用默认解析出的文件名，需要指定首页文件;--silent(或-s)不显示进度。    curl http://test.com/index.php -o newname --progress #不写入到stdout，自定义下载后的文件名,--progress #显示"#"进度条    curl -C - http://test.com/1.zip -O #断点续传,必须指定原保存文件名的任务。    curl --referer Referer_URL target_URL #手动指定 参照页。Regerer_URL会原样存在于目的站点的日志中。    curl URL --limit-rate 20k #限速    curl URL --limit-rate 20m #限速    curl URL --max-filesize bytes #指定最大下载量，超出限制返回非0退出码，未超出返回0。    curl -u username:password URL #同时指定用户名和密码    curl -u username URL #只指定用户名，手动输入密码    curl -I http://bd1.php.net/distributions/php-5.3.26.tar.bz2 #只打印头部信息，可能过Content-Length查看文件大小（单位：B）

lynx    lynx -dump URL > a.txt #将所有的超链接显示在输出文件的References标题下。    lynx -traversal http://domain.com #递归访问网站页面并生成所有超链接列表。