DataBase 基础知识

关系型数据库的重要元素包括数据表和表连接，借助各种类型的表连接，可以将平铺直叙的信息加以组装拼接。 

数据仓库的主要精力一般集中在数据的装载和查询，

********************************

1. Nest Loop Join嵌套循环是一种比较古老的连接匹配方式，特点是通过两层的循环结构，将符合条件的数据行整理出来。嵌套循环的最大缺陷之一，就是伴随着驱动表被驱动表之间的选择，以及大量随机读现象。 
   
2. Merge Sort Join的优势就是可以一定程度上减少随机读的情况。合并排序连接的最大特征是在一次扫描的同时，就判断连接。不会像Nest Loop Join那样频繁的进行数据读取。使用这种方式的前提，就是连接的两个数据集合必须按照连接列的顺序进行排序。具体操作流程如下：                                                                                                1.按照连接列的顺序对两个数据集合进行排序；                                                                                                                                                                                                                2.依次对两边的数据集合进行扫描，由于已经是排序过得结果，可以直接确定连接条件是否匹配；
3. Hash Join  在Oracle中的操作如下：

1. 首先，由于内存无法放下所有的hash table内容，那么就会导致有的hash bucket放在内存里，有的hash bucket放在磁盘上，但不管放在哪里，Oracle使用一个bitmap结构来反应这些bucket的状态，包括位置和是否有数据在里面。

2. oracle开始读取probe table, 针对每一条数据都对做连接的列上使用hash函数，定位对应build table的相同值的hash bucket，找到相应的hash bucket后就到那个位置是去看有没有匹配的数据。这个过程叫做probing hash table。

****************

磁盘本身是一个顺序读写快，随机读写慢的系统，如果想高效的从磁盘中找到数据，需要满足一个最重要的条件：减少寻道次数。

***************

read-ahead

 预读是在运行中，控制器不断的提前读取未被请求的数据，把它存储在内存中，并期望这些数据能被使用。预读可以更快的提供连续数据，当访问的是随机数据时效果就不佳了。

*********************

查询缓存是 MySQL 比较独特的一个缓存区域，用来缓存特定 Query 的结果集（Result Set）信息，且共享给所有客户端；

表缓存区主要用来缓存表文件的文件句柄信息，如果没有 Table Cache，那么 MySQL 就不得不频繁的进行打开关闭文件操作；

连接线程是 MySQL 为了提高创建连接线程的效率，将部分空闲的连接线程保持在一个缓存区以备新进连接请求的时候使用；

MyISAM 索引缓存将 MyISAM 表的索引信息缓存在内存中，以提高其访问性能。这个缓存可以说是影响 MyISAM 存储引擎性能的最重要因素之一了，通过 key_buffere_size 设置可以使用的最大内存空间；

InnoDB Buffer Pool 不仅仅缓存索引数据，还会缓存表的数据，而且完全按照数据文件中的数据快结构信息来缓存；

**************************

架构的 CAP 原则：
Consistency( 一致性 ),  数据一致更新，所有数据变动都是同步的 
Availability( 可用性 ),  好的响应性能 
Partition tolerance( 分区容错性 )  可靠性 

定理：任何 分布式 系统只可同时满足二点，没法三者兼顾。 
忠告：架构师不要将精力浪费在如何设计能满足三者的完美 分布式 系统，而是应该进行取舍。

从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ： Massive Parallel Processing) 。

• SMP 服务器的主要特征是共享，每个 CPU 必须通过相同的内存总线访问相同的内存资源，因此随着 CPU 数量的增加，内存访问冲突将迅速增加；
• NUMA 服务器的基本特征是具有多个 CPU 模块，其节点之间可以通过互联模块 ( 如称为 Crossbar Switch) 进行连接和信息交互，因此每个 CPU 可以访问整个系统的内存 ( 这是 NUMA 系统与 MPP 系统的重要差别 ) 。显然，访问本地内存的速度将远远高于访问远地内存 ( 系统内其它节点的内存 ) 的速度，这也是非一致存储访问 NUMA 的由来。
• 在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等。但和 NUMA 不同的是，它不存在异地内存访问的问题。换言之，每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配 (Data Redistribution) 。
  

Greenplum是一种基于postgresql（开源数据库）的分布式数据库。其采用shared nothing架构（MPP），主机，操作系统，内存，存储都是自我控制的，不存在共享。主要由master host，segment host，interconnect三大部分组成。【MPP DB应用场景已经非常明显了，适合小集群（100以内），低并发的（50左右）的场景】

大规模存储问题：

在greenplum中每个表都是分布在所有节点上的。Master host首先通过对表的某个或多个列进行hash运算，然后根据hash结果将表的数据分布到segment host中。整个过程中master host不存放任何用户数据，只是对客户端进行访问控制和存储表分布逻辑的元数据。

并行处理问题：

查询时在各节点的数据库引擎上并行执行查询，并将所有结果数据自动汇集到主查询节点上，数据无共享、无I/O冲突。