大数据(StuQ 技能图谱)

转载
StuQ 技能图谱 v0.1.2

大数据

• 大数据处理框架

  • Spark

    • RDD
    • Spark SQL
    • Spark Streaming
    • MLLib

  • Hadoop

    • HDFS(分布式文件系统)
    • Mapreduce（计算框架）
    • Yarn（资源管理平台）
    • Pig（piglatin 语句到 mapreduce 的映射）
    • Hive（数据仓库，提供 SQL）
    • Mahout（机器学习算法的 mapreduce 实现库）

  • Kafka

  • Storm

  • ELK

    • ElasticSearch
    • Logstash
    • Kibana

• 数据库

  • SQL
  • MySQL
  • MongoDB
  • Cassandra
  • Redis
  • SQLite
  • bsddb
  • HBase

• 编程语言

  • Python
  • R
  • Ruby

• 数据分析挖掘

  • MATLAB
  • SPSS
  • SAS

• 数据可视化

  • R
  • D3.js
  • ECharts
  • Excle

• 人工智能

  • 机器学习

    • 聚类
    • 时间序列
    • 推荐系统
    • 回归分析
    • 文本挖掘
    • 决策树
    • 支持向量机
    • 贝叶斯分类
    • 神经网络

• 算法

  • 一致性

    • paxos
    • raft
    • gossip

  • 数据结构

    • 栈，队列，链表
    • 散列表
    • 二叉树，红黑树，B树
    • 图

  • 常用算法

  • 排序

    • 插入排序
    • 桶排序
    • 堆排序
    • 快速排序
  • 最大子数组
  • 最长公共子序列
  • 最小生成树
  • 最短路径
  • 矩阵的存储和运算

• 云计算

  • 云服务

    • SaaS
    • PaaS
    • IaaS
  • Openstack
  • Docker