Shell 简单的WEB命令

wget

用于网页或者文件下载的命令
wget URL
wget URL1 URL1
-O doloaded.txt   #下载文件为doloaded.txt
-o log            #日志信息保存到log文件中
-t 5              #指定重试次数5
--limit-rate 20k  #限制速度
--quota或-Q       #限制下载文件的大小
-c                #使用断点续传继续下载
--mirror exampledomain.com  #使用爬虫递归收集该网站上所有的URL链接
--user username --password pass #访问一些需要认证的http或FTP页面

lynex

一个基于命令行的浏览器，可以将html解析为通过浏览器显示出来的文本

lynx -dump url > local_text.txt  #将网页文本保存在本地

curl

比wget功能更强大的工具，支持HTTP、HTTPS、FTP在内的众多协议。还支持 POST、cookie、认证等功能。
curl URL > index.html  #必须指定重定向文件，否则会输出到控制台
--progress      #显示进度信息