- 博客(4)
- 收藏
- 关注
RSS订阅原创 黑马程序员学习第四天
将ETL以后的结果保存到一张新的Hive表中。实现可视化报表（需要配置jar包，隔离包）对数据中一些空数据，不合法的数据进行过滤。从GPS的经纬度中提取经度和维度。通过时间字段构建天和小时的字段。
2024-04-25 21:18:26
133
5
原创 黑马程序员学习第三天
• 外部表（CREATE EXTERNAL TABLE table_name ...） 被external关键字修饰的即是外部表,外部表又称非管理表或者非托管表。删除外部表:仅仅是删除元数据，存储的业务数据并不会被删除。• 内部表（CREATE TABLE table_name ...） 未被external关键字修饰的即是内部表,内部表又称管理表或者托管表。删除内部表:直接删除元数据和存储的业务数据。默认数据库的存放路径是HDFS的：/user/hive/warehouse内。
2024-04-24 22:22:40
230
5
原创 黑马程序员学习第二天
Hadoop的HDFS为Hive提供了数据存储的基础，而Hadoop的MapReduce则可以被Hive用来数据处理。Standalone mode(单机模式）：单机模式，1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，主要用于学 习和调试。HDFS虽然可以存储超大文件，但是时效性差，它只能一次写入，不能够随机修改，它可以在普通廉价的机器上运行。HDFS是Apache Hadoop 项目的一个子项目，使用HDFS作为存储系统。
2024-04-23 21:42:52
301
4
原创 黑马程序员学习第一天
分布式 ：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事 集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事。有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。• 比如，购物的订单记录（数据）可以帮助平台更好的了解消费者， 从而促进交易。• 对数据的内容进行深入分析，可以更好的帮助了解事和物在现实世 界的运行规律。➢ MapReduce计算需要的数据和产生的结果需要HDFS来进行存储。数据：人类的行为及产生的事件的一种记录称之为数据。
2024-04-22 21:21:52
129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人