![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
常用工具
zhuiqiuuuu
这个作者很懒,什么都没留下…
展开
-
常用api网址
python api,前端api: http://www.runoob.com/sitemap pyspark api: http://spark.apache.org/docs/latest/api/python/原创 2017-05-31 18:01:32 · 976 阅读 · 0 评论 -
统计小于20M的hdfs文件明细
统计HDFS文件数量大小,小于20M文件数量hadoop fs -du -h / # 统计文件大小hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息,过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件...转载 2018-06-05 15:19:36 · 713 阅读 · 0 评论