大数据技能图谱

• 大数据处理框架

  • #### Spark
  • RDD
  • Spark SQL
  • Spark Streaming

  • MLLib

  • Hadoop

  • HDFS(分布式文件系统)
  • Mapreduce（计算框架）
  • Yarn（资源管理平台）
  • Pig（piglatin 语句到 mapreduce 的映射）
  • Hive（数据仓库，提供 SQL）

  • Mahout（机器学习算法的 mapreduce 实现库）

  • Kafka

  • #### Storm
  • #### ELK
  • ElasticSearch
  • Logstash
  • Kibana

• 数据库

  • SQL
  • MySQL
  • MongoDB
  • Cassandra
  • Redis
  • SQLite
  • bsddb
  • HBase

• 编程语言

  • Python
  • R
  • Ruby

• 数据分析挖掘

  • MATLAB
  • SPSS
  • SAS

• 数据可视化

  • R
  • D3.js
  • ECharts
  • Excle

• 人工智能

  • #### 机器学习
  • 聚类
  • 时间序列
  • 推荐系统
  • 回归分析
  • 文本挖掘
  • 决策树
  • 支持向量机
  • 贝叶斯分类
  • 神经网络

• 算法

  • #### 一致性
  • paxos
  • raft

  • gossip

  • 数据结构

  • 栈，队列，链表
  • 散列表
  • 二叉树，红黑树，B树

  • 图

  • 常用算法

  • ##### 排序
    
    • 插入排序
    • 桶排序
    • 堆排序
    • 快速排序
  • 最大子数组
  • 最长公共子序列
  • 最小生成树
  • 最短路径
  • 矩阵的存储和运算

• 云计算

  • #### 云服务
  • SaaS
  • PaaS
  • IaaS
  • Openstack
  • Docker