数据分析的入门技巧

数据分析的入门技巧

1、Excel表，其中Excel表最常用的是vlookup函数及透视表功能

1.在vlookup的基本使用（快速匹配，连续数值分段）

2.Excel透视表（完成数据的分组统计、排序、求平均、行列计算占比等常用数据分析功能）

小结：动手实践>遇到问题>网上搜索>官网help>再实践>记录核心技巧案例

2、 Hive SQL篇

两个重要常用技巧:行列互转和row_number函数

行列互转：指的是把一行拆成多行或者把多行按照某种条件聚合为一行

1.行转列用法：假设一个字段是由一个数构成实际统计时可能需要把这个数组展开后再进行统计

例如：查看全体用户被女性策略命中的数据情况，需要先行转列，再筛选出女性策略，再进行统计

下行转列使用的函数：

lateral view explode(split 表达式)tableName as columnName

案例：

2.列转行用法

案例：有一个表，记录的是用户注册id、用户历史使用的手机型号，我们希望了解用户累计使用过的不同手机型号的用户数分布

3、row_number函数

row_number函数的功能为了将分组统计后的每组数据取TopN输出

row_number()over(partition by column1 order by column2 desc/asc)

3、巧用sublime写SQL

sublime是一款功能强大的高级文本编辑器可以安装很多插件满足

注意：数据分析师用sublime写SQL脚本时，经常使用的两个技巧：查找替换和列选

shell篇，批量生成SQL

定时执行一个任务

4、grep命令统计

grep命令是用来查找文本中符合条件的字符串

grep参数有20多种，可以满足各类查找的长尾功能需求

5、sed命令统计

sed一种编辑功能的命令，对满足某种条件的行进行删除，对匹配到的字符进行替换

6、awk命令统计

拥有很多的内置函数，Linux系统中强大的文本处理工具