1、cewl介绍
cewl是一个 ruby 应用,爬行指定url的指定深度。也可以跟一个外部链接,结果会返回一个单词列表,这个列表可以扔到John the ripper工具里进行密码破解。cewl还有一个相关的命令行 工具 应用FAB,它使用相同的元数据提取技术从已下载的列表中创建作者/创建者列表。
cewl -w 1.txt http://dc-2
2、常规参数选项:
-h, --help:显示帮助。
-k, --keep:保存下载文件。
-d , --depth :爬行深度,默认 2。
-m, --min_world_length:最小长度,默认最小长度为 3。
-o, --offsite:允许爬虫访问其他站点。
-w, --write:将输出结果写入到文件。
-u, --ua :设置 user agent。
-n, --no-words:不输出字典。
–with-numbers:允许单词中存在数字,跟字母一样。
-a, --meta:包括元数据。
–meta_file file:输出元数据文件。
-e, --email:包括 email 地址。
–email_file :输入邮件地址文件。
–meta-temp-dir :exiftool 解析文件时使用的临时目录,默认是 /temp。
-c, --count:显示发现的每个单词的数量。
-v, --verbose:verbose。
–debug: 提取调试信息。
认证
–auth_type:Digest 或者 basic 认证。
–auth_user:用户名认证。
–auth_pass:密码认证。
代理
–proxy_host:代理主机。
–proxy_port:代理端口,默认 8080。
–proxy_username:用户名代理。
–proxy_password:密码代理。