![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
liunx
大鹏_展翅
这个作者很懒,什么都没留下…
展开
-
用Liunx统计文件行数,切分、对id进行排序,去重(wc,head,sort,uniq)!
如下我们遇到一个文件2G以上 文本编辑相互甩锅: 此时内心很崩溃,但是我们先看一下文件一共有多少行。 统计文件的行数可以用以下命令:wc -l 文件名 wc -l lesson_20201205.log 1200多万行数据。 然后用 head -n 文件名 > 新文件 $ head -1000000 lesson_20201205.log > lesson_20201205_100.log 然后得到 一个163M的100万行数据 接下来我们把l..原创 2020-12-12 16:52:41 · 281 阅读 · 0 评论 -
Liunx中AWK的几个用法
Liunx中AWK的几个用法: 第一种:使用awk统计某个文件的空行,并打印 ifconfig | awk '/^$/{print NR}' 结果如下: 第二种:使用awk统计某个文件夹下有多少个文件 find /usr/bin -name *.sh | awk 'END{print NR}' 结果如下: 第三种:使用awk截取某个文件夹下面的所有文件名: find /usr/bin -name *.sh | awk -F '/' '{print $NF}' 最后入下图: ...原创 2020-11-15 15:40:27 · 432 阅读 · 0 评论