【Spark SQL】1、初探大数据及Hadoop的学习

最新推荐文章于 2023-10-16 17:30:17 发布
最新推荐文章于 2023-10-16 17:30:17 发布
阅读量357 收藏
点赞数
分类专栏： Spark 文章标签： hadoop hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyxwvuuvwxyz/article/details/104008008
版权
初探大数据

生产或测试环境选择对应CDH版本时，一定要采用尾号一样的版本

在这里插入图片描述
OOPTB

  • apache-maven-3.3.9-bin.tar.gz
  • Jdk-7u51-linux-x64.tar.gz
  • Zeppelin-0.7.1-bin.tgz
  • Hive-1.1.0-cdh5.7.0.tar.gz
  • hadoop-2.6.0-cdh5.7.0.tar.gz
  • Mysql-connector-java.5.1.27.bin.jar
  • Scala-2.11.8.tar.gz
  • spark-2.1.0-bin-2.6.0-cdh5.7.0
大数据概述
  • 数据量
  • 速度
  • 多样性、复杂性
  • 基于高度分析的新价值
Hadoop

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储

Apache顶级项目 访问网站 projetName.apache.org

包括 HSFS/YARN/MapReduce

狭义Hadoop VS 广义Hadoop

  • 狭义的Hadoop:是一个适合大数据分布式存储HDFS、分布式计算MapReduce和资源调度YARN的平台
  • 广义的Hadoop:指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分；生态系统中的每一个子系统只解决某一个特定的问题域(甚至可能很窄)，不搞统一型的一个全能系统，而是小而精的多个小系统

为什么选择haddoop作为大数据平台的解决方案？

  • 源码开源
  • 社区活跃，参与者很多
  • 涉及到分布式存储和计算的方方面面
HDFS

分布式文件系统(Hadoop Distributed File System)

HDFS概述

Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。 它与现有的分布式文件系统有许多相似之处。 但是，与其他分布式文件系统的差异很大。 HDFS具有高度容错能力，旨在部署在低成本硬件上。 HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。 HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。 HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的。 HDFS是Apache Hadoop Core项目的一部分

Assumptions and Goals

  • 硬件故障是常态而非例外。 HDFS实例可能包含数百或数千台服务器计算机，每台计算机都存储文件系统数据的一部分。 事实上，存在大量组件并且每个组件具有非平凡的故障概率意味着HDFS的某些组件始终不起作用。 因此，检测故障并从中快速自动恢复是HDFS的核心架构目标。
  • 运行在HDFS上的应用程序需要对其数据集进行流访问。它们不是通常在通用文件系统上运行的通用应用程序。HDFS更多的是为批处理而设计的，而不是用户的交互使用。重点是数据访问的高吞吐量，而不是数据访问的低延迟。
  • 在HDFS上运行的应用程序具有大型数据集。 HDFS中的典型文件大小为千兆字节到太字节。 因此，HDFS被调整为支持大文件。 它应该为单个集群中的数百个节点提供高聚合数据带宽和扩展。 它应该在单个实例中支持数千万个文件。
  • HDFS应用程序需要一次只读一次读取文件的访问模型。 除了追加和截断之外，无需更改创建，写入和关闭的文件。 支持将内容附加到文件末尾，但无法在任意点更新
  • 如果应用程序在其操作的数据附近执行，则计算所请求的计算效率更高。 当数据集的大小很大时尤其如此
  • HDFS的设计便于从一个平台移植到另一个平台。 这有助于广泛采用HDFS作为大量应用程序的首选平台。

NameNode and DataNodes

HDFS具有主/从架构。 HDFS集群由单个NameNode，一个管理文件系统命名空间的主服务器和管理客户端对文件的访问组成。 此外，还有许多DataNode，通常是群集中每个节点一个，用于管理连接到它们运行的节点的存储。 HDFS公开文件系统命名空间，并允许用户数据存储在文件中。 在内部，文件被分成一个或多个块，这些块存储在一组DataNode中。 NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录。 它还确定了块到DataNode的映射。 DataNode负责提供来自文件系统客户端的读写请求。 DataNode还根据NameNode的指令执行块创建，删除和复制。

在这里插入图片描述

NameNode和DataNode是设计用于在商用机器上运行的软件。 这些机器通常运行GNU / Linux操作系统（OS）。 HDFS是使用Java语言构建的; 任何支持Java的机器都可以运行NameNode或DataNode软件。 使用高度可移植的Java语言意味着可以在各种计算机上部署HDFS。 典型部署具有仅运行NameNode软件的专用计算机。 群集中的每台其他计算机都运行一个DataNode软件实例。 该体系结构可以在同一台机器上运行多个DataNode，但在实际部署中很少出现这种情况。

群集中存在单个NameNode极大地简化了系统的体系结构。 NameNode是所有HDFS元数据的仲裁者和存储库。 系统的设计使用户数据永远不会流经NameNode。

HDFS支持传统的分层文件组织。 用户或应用程序可以在这些目录中创建目录并存储文件。 文件系统命名空间层次结构与大多数其他现有文件系统类似; 可以创建和删除文件，将文件从一个目录移动到另一个目录，或重命名文件。 HDFS支持用户配额和访问权限。 HDFS不支持硬链接或软链接。 但是，HDFS架构并不排除实现这些功能。

NameNode维护文件系统名称空间。 NameNode记录对文件系统命名空间或其属性的任何更改。 应用程序可以指定应由HDFS维护的文件的副本数。 文件的副本数称为该文件的复制因子。 该信息由NameNode存储。

HDFS旨在可靠地在大型群集中的计算机上存储非常大的文件。它将每个文件存储为一系列块。复制文件的块以实现容错。块大小和复制因子可根据文件进行配置。

除最后一个块之外的文件中的所有块都具有相同的大小

应用程序可以指定文件的副本数。复制因子可以在文件创建时指定，并可以在以后更改。 HDFS中的文件是一次写入的（除了追加和截断），并且在任何时候都有一个写入器。

NameNode做出有关块复制的所有决定。它定期从群集中的每个DataNode接收Heartbeat和Blockreport。收到心跳意味着DataNode正常运行。 Blockreport包含DataNode上所有块的列表

HDFS架构

1 Master(NameNode/NN) 带N个Slaves(DataNode/DN)

1个文件会被拆分为多个Block,根据blockSize。如130M文件，blockSize=128M，则被拆分为2个块，分别是128M和2M

NN:

  • 负责客户端请求和响应
  • 负责元数据(文件的名称、副本系数、Block存放的DN)的管理

DN:

  • 存储用户的文件对用的数据库(Block)
  • 要定期向NN发送心跳信息，汇报本身及其所有的block信息、健康状况

A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software.The architecture does not preclude running multiple DataNodes on the same machine but in a real deployment that is rarely the case.

NameNode+N个DataNode

建议：NN和DN是部署在不同的节点上

HDFS环境搭建

使用虚拟机的话 网络使用桥接模式

虚拟机最好关闭防护墙

  • 使用版本 hadoop02.6.0-cdh5.7.0

软件存放目录

/home/hadoop

  • software:存放的是安装的软件包
  • app：存放的是所有软件的安装目录
  • data:存放的是所有使用的测试数据目录
  • source:存放的是软件源码目录，比如spark

  1. 下载hadoop

  2. 下载jdk7u51 https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 选择7u51

    • tar -zxvf xx -C ~/app/
    • 配置环境变量

  3. 机器参数设置

    修改机器名/etc/systemconfig/network

    vi /etc/systemconfig/network
NETWORKING=yes
HOSTNAME=hadoop001

    设置IP和hostname的映射关系 /etc/hosts

    192.168.0.116 hadoop001

    127.0.0.1 localhost

    ssh免密码登录(此步骤不是必须的，但必须每次收动输入密码)

    ssh-keygen -t rsa

    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

  4. HDFS配置修改 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

    hadoop-env.sh

    core-site.xml

    hdfs-site.xml


    在hadoop-2.6.0-cdh5.7.0/etc/hadoop下修改

    Hadoop-env.sh

    ​ expore JAVA_HOME=/home/hadoop/app/jdk1.7.0_51/

    Core-site.xml

    <configuration>
	<property>
  	<name>fs.defaultFS</name>
    <value>hdfs://hadoop001:8020</value>
  </property>
  <property>
  	<name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/tmp</value>
  </property>
</configuration>

    hdfs-site.xml

    <configuration>
<property>
  <!--副本数-->
	<name>dfs.replication</name>
  <value>1</value>
</property>
  </configuration>

  5. 格式化HDFS

    这一步操作，只是在第一次时执行，每次如果都格式化的话，那么HDFS上的数据就会被清空

    在bin目录下 执行 ./hdfs namenode -format。如下表示格式化成功

在这里插入图片描述

  1. 启动HDFS

    sbin/start-dfs.sh

在这里插入图片描述

验证是否启动成功:

jps

  • DataNode
  • SecondaryNameNode
  • NameNode

浏览器

  • http://hadoop001:50070/

在这里插入图片描述

HDFS shell常用命令使用

  • ls

    hadoop fs -ls /

    hadoop fs -ls -R / 递归查看

  • mkdir

    hadoop fs -mkdir test

    hadoop fs -mkdir -p /a/b 递归创建文件夹

  • put

    hadoop fs -put /home/hadoop/a.txt( 文件系统中的文件路径) /test 上传文件、文件夹至hdfs

  • get

    hadoop fs -get /tets/a.txt ~/app/(文件系统的路径) 将文件从hdfs拿到本地

  • rm

    hadoop fs -rm /test/a.txt 从hdfs上删除

    hadoop fs -rmr -a 递归删除目录

  • cat

    hadoop fs -cat /test/a.txt 查看文件内容

HDFS优缺点

优点：

  • 高容错
  • 适合批处理
  • 适合大数据处理
  • 可构建在廉价的机器上

缺点：

  • 不适合低延迟的数据访问(大文件分块，要访问文件 需访问到各个块)
  • 不适合小文件存储
MapReduce

不擅长实时计算，适合离线批处理

在这里插入图片描述

码农的进阶之路
关注
专栏目录
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
大数据学习笔记：Hadoop生态系统
howard2005的专栏
02-26 1720
介绍Hadoop生态圈常用组件
Hadoop spark sql项目实践
qq_41501000的博客
06-18 330
最近分布式计算结课做了一个小的实验报告，分享一下。 操作系统：ubuntu64 Hadoop 实验过程 1． 准备数据集，我的数据集是网上下载的相机记录一些地方交通违规次数数据集。（cameras.csv） 部分数据截图： 把本地文件系统中的cameras.csv上传到分布式文件系统HDFS中（放到hadoop用户目录下）： 3.1 导包： 3.2 初始化sparksession 3.3 制作表头 3.4 生成DataFrame,从hdfs上读取 3.5 RDD转DataFrames(反射转
hadoop oracle 性能对比,Hadoop vs Spark性能对比
weixin_42131633的博客
04-05 293
在20GB的数据上测试(迭代更多的次数)root@master:/opt/spark# ./run spark.examples.SparkKMeans master@master:5050 hdfs://master:9000/user/LijieXu/Kmeans/Square-20GB.txt 8 0.8Task数目：320时间：迭代次数时间1100.9 s20.93 s34.6 s43.9...
大数据-Hadoop初探-01
qq_28403781的博客
04-09 362
一，大数据： 1.大数据起源于社交网络 QQ微信 发展于电商平台 淘宝，京东，一号店 2。***大数据的4V特征 体积数据量大TB PB Varity 的数据多种多样文本（.log .txt .sql .xml） Veracity真实性数据的准确性和可信赖度 速度速度快 价值价值密度低 Hadoop -&gt...
2.1 初探大数据
最新发布
howard2005的专栏
10-16 1268
1. 了解大数据的定义； 2. 理解大数据的特征； 3. 理解研究大数据的意义
大数据讲课笔记2.1 初探大数据
howard2005的专栏
10-03 2175
1. 了解大数据的定义； 2. 理解大数据的特征； 3. 理解研究大数据的意义
从零开始的大数据技术学习路线指南：带你轻松成为大数据开发工程师！
热门推荐
云祁QI
05-24 2万+
之前有不少小伙伴留言和私信我关于大数据学习路线，以及咨询我一些关于有工作经验想转行大数据的问题，只言片语也讲不清。我花了一个月整理了一份我当初学习的大数据学习路线，从最基础的大数据集群搭建开始，希望能帮助到大家。
管理大数据之初探Hadoop发行版
IT时代周刊
05-17 240
Hadoop是一项开源技术，它是当今与大数据应用最为息息相关的数据管理平台。该分布式处理框架主要由Yahoo创建于2006年，部分是基于由Google在一些技术论文中所阐述的思想;很快，诸如Facebook，Linkedln以及Twitter之类的互联网公司采用该技术并开始对其发展贡献力量。在过去几年，Hadoop已经演变成一种有着基础设施组件和相关工具的复杂生态系统，而且它被各家供应商打包在一起...
第1章 初探大数据
weixin_38492276的博客
08-25 632
1、1导学 功能实现 统计imooc（慕课网）主站最受欢迎的课程/手记的Top N访问次数 按地市统计imooc主站最受欢迎的Top N课程 按流量统计imocc主站最受欢迎的Top N课程 大数据的到来 任职要求 .熟悉Linux操作系统，熟悉Linux shell 编程 .熟悉Java或者scala语言，具有一年以上实际开发经验 .熟悉spark sql 或 ...
CSDN大数据学习班第一节分享：大数据入门技术初探
04-12
### CSDN大数据学习班第一节分享：大数据入门技术初探 #### 大数据技术概览 随着信息技术的飞速发展，大数据技术已经成为支撑现代信息化社会的重要基石之一。本篇文章将根据给定的内容，深入探讨大数据的基本概念...
大数据讲课笔记2.3 初探Hadoop世界
howard2005的专栏
10-04 847
1. 了解Hadoop的发展历史； 2. 了解Hadoop的版本情况； 3. 掌握Hadoop的生态体系
【Spark SQL】4、Spark SQL的安装及简单使用
我就是我的博客
01-16 3538
Spark MapReduce的局限性： 代码繁琐 只能够支持map和reduce方法 执行效率低下 不适合迭代多次，交互式、流式的处理 Spark下载 选择package type为Source Code，随后下载spark-2.4.4.tgz 为了与学习一致，这里选择spark-2.1.0，故需要maven3.3.9及以上版本，java7及以上版本 Spark源码编译 注意：这里之所以选...
【Spark Streaming】日志收集框架Flume的学习
我就是我的博客
01-17 502
Spark版本升级 日志收集框架Flume 概览 Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。 数据流模型 Flum...
【Spark SQL】2、YARN的学习
我就是我的博客
01-16 325
YARN概述 YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。 ResourceManager和NodeManager构成了数据计算框架。 ResourceManager是在系统中的所有应用程序之间仲裁资...
【Spark SQL】6、常用API的学习
我就是我的博客
01-16 278
所有功能的入口点都是SparkSession类。要创建基本的SparkSession，只需使用SparkSession.builder() import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("Spark SQL basic example") .config("s...
【Spark SQL】3、大数据数据仓库Hive的学习
我就是我的博客
01-16 264
大数据数据仓库Hive 产生背景 MapReduce编程的不变性 HDFS上的文件缺失schema 用于处理海量结构化的日志数据统计问题 构建在Hadoop之上的数据仓库 Hive定义了一种类SQL查询语言:HQL(类似SQL但不完全相同) 通常用于进行离线数据处理 支持多种不同的压缩格式(GZIP、LZO、Snappy、BZIP2)、存储格式(TextFile/SequenceFile/RC...
【Spark SQL】5、DataFrame&DataSet的简单使用
我就是我的博客
01-16 252
DataFrame与RDD的互操作 /** * DataFrame和RDD的互操作 */ object DataFrameRDDApp { def main(args: Array[String]) { val spark = SparkSession.builder().appName("DataFrameRDDApp").master("local[2]").getOrCr...
实战指南：Python、Spark与Hadoop在大数据和机器学习的应用
资源摘要信息:"《Python+Spark 2.0+Hadoop机器学习与大数据实战》由林大贵著作，2018年由清华大学出版社出版，旨在介绍如何运用Python、Spark 2.0和Hadoop进行机器学习和大数据处理。书中内容分为两大部分，首先阐述...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值