数据库学习纪要（二）：hive-2

七、DQL操作：数据查询SQL
7.1 基本的select操作
    SELECT [ALL | DISTINCT] select_expr, select_expr, ...
    FROM table_reference
    [WHERE where_condition]
    [GROUP BY col_list [HAVING condition]]
    [   CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]]
    [LIMIT number]

    1）使用ALL和DISTINCT选项区分对重复记录的处理。默认是ALL，表示查询所有记录。DISTINCT表示去掉重复的记录
       Where 条件，类似我们传统SQL的where 条件
           目前支持 AND,OR ,0.9版本支持between 、IN, NOT IN 不支持EXIST ,NOT EXIST
    
    2）ORDER BY与SORT BY的不同：ORDER BY 全局排序，只有一个Reduce任务；SORT BY 只在本机做排序

    3）Limit
      Limit 可以限制查询的记录数：SELECT * FROM t1 LIMIT 5
      实现Top k 查询
      REGEX Column Specification

7.2 基于Partition的查询
       一般 SELECT 查询会扫描整个表，使用 PARTITIONED BY 子句建表，查询就可以利用分区剪枝（input pruning）的特性
       Hive 当前的实现是，只有分区断言出现在离 FROM 子句最近的那个WHERE 子句中，才会启用分区剪枝

7.3 Jion
       Hive 只支持等值连接（equality joins）、外连接（outer joins）和（left semi joins）。Hive 不支持所有非等值的连接，因为非等值连接非常难转化到 map/reduce 任务
       LEFT，RIGHT和FULL OUTER关键字用于处理join中空记录的情况

注意点：
    1）只支持等值join
          SELECT a.* FROM a JOIN b ON (a.id = b.id)
          SELECT a.* FROM a JOIN b 
                ON (a.id = b.id AND a.department = b.department)
  
    2）可以 join 多于 2 个表
SELECT a.val, b.val, c.val FROM a JOIN b 
        ON (a.key = b.key1) JOIN c ON (c.key = b.key2)