大数据的开源工具

 

 

8个指标：

 

AvgDeep 平均访问深度，深度值越高越好

1. 海量数据存储问题 Hadoop.HDFS,S3亚马逊
2. 海量数据收集加工（清洗） flume+log4j
3. 分析平台：
   1. 离线分析平台 Hadoop.MapReduce（基于破网络破机器，基于文件）
   2. 实时分析平台 Spark（内存，机器学习，吞吐量大）/Storm（流，速度最快）
4. 从看似无用的海量数据中提炼出有价值数据（数据挖掘）机器学习

5. 两条线：

6. 离线分析

7. Log4j -> flume -> Hadoop.HDFS -> Hive -> Mysql（结果数据量小）/ HDFS /Hbase

8. 实时分析

9. Log4j -> flume -> kafka -> storm -> Mysql/HDFS/kafka/es

10. Storm流式处理数据平台

11. 流式，数据是永不停止（对多余数据扔掉）
12. 流式数据，波峰波谷，消峰平谷Kafka（队列）
13. PV （page view）点击率，点击率越高越高
14. UV（unique view）独立访客，不同浏览器产生不同uv
15. VV（visit view）访客访问的次数
16. BR（break/bounce rate）跳出率，用户对网页黏着度。瑕疵（最后一个页面不统计）
17. NewIP 每日新增的IP地址
18. NewCust 每日新增的用户
19. AvgTime 平均访问时间，时间越长越好