大数据企业应用——学习笔记

最新推荐文章于 2024-04-20 00:25:20 发布
最新推荐文章于 2024-04-20 00:25:20 发布
阅读量221 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zytmaster/article/details/104587949
版权

三大数据处理的利器：ELK(Elasticsearch数据的清洗转储、Logstash数据的抓取、Kibana数据分析可视化)、solr、splunk

flume是一个ETL工具，比如如何把web上的数据通过ETL转移到spark或者HDFS上

大数据的采集，有几个ETL工具，sqoop（如何把HDFS上的数据转移到Mysql中，又如何把MySQL中的数据读取到HDFS中或者Hive中）

白T
关注
大数据课程00——[基础篇]大数据学习入门
u013955758的专栏
07-09 596
大数据地学习方向（hadoop, zookeeper, hive, flume && sqoop, azkaban && oozie, 数仓建模理论+实践, hbase, redis, kafka, elk, scala, spark, kylin, flink, 实时数仓项目）、大数据就业方向(数仓工程师、数据开发工程师、ETL工程师、数据分析工程师)
小白的大数据入门路——Hive学习笔记
5akura's Blog
08-04 3424
文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常用配置参数2.7.2、修改配置的方式三、Hive数据类型3.1、基本数据类型3.2、集合数据类型3.3、数据类型
大数据技术学习笔记
weixin_33947521的博客
06-04 197
大数据的特点 Volume、Variety、Velocity、Value Variety指数据的多样性。包括异构数据，如存在关系型数据库中的数据；以及非异构数据，如邮件、音/视频、图片、文本等。 大数据计算模式及代表产品 大数据计算模式 | 解决的问题 | 代表产品 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark 流计算 | 针对流数据的实时计算 | Storm、S4...
大数据技术与应用 学习笔记（1）
qq_42713999的博客
03-04 583
Course One 老师一上课就问了一个问题：什么是大数据？ 作为大数据学院的学生，不得不说，对大数据只是有所耳闻，并不是很清楚。其实这都9012年了，大数据在各个方面已经完全入侵了我们的生活。 我们网购、上网、看剧、刷贴吧、玩游戏等等行为可以说都多多少少的涉及到大数据： 网购的时候，网站（或者APP）会通过大量的数据计算对我们的行为模式进行分析，比如我们购物的偏好是什么、喜欢在什么时段买东西诸...
【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记）
HinsCoder的博客
03-07 3678
在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。。
大数据学习笔记——Shell
weixin_46231937的博客
03-23 1931
一、Shell基本知识 作用：外层的应用程序通过Shell来操作LInux的内核 1.常见的shell解析器：sh、bash（bash是centos系统默认的解析器，sh是bash的软链接） 2.shell执行方法： 1） sh / bash 脚本名称 （本质是解析器执行脚本） ...
大数据学习笔记——大数据学习过程中的重点
youmianzhou的博客
08-02 926
目前大数据开发方面，市场上最主要的还是用spark做开发居多。这一点也可以从招聘网站上可以看到。整个大数据体系经过这么多年的发展，相当的繁杂，各种各样的组件，但是其中有一些已经过时了，或者用的少了，其实干脆就不用学了，免得浪费时间。下面介绍自己学习过程中的大数据重点。 1.linux linux系统肯定是基础了，大数据集群是运行在这上面的。linux在服务器上面一般是用centos系统，还分6.x版本和7.x版本，这两个版本有一些命令是不一样的，比如在启动某个服务的命令是不一样的，写法有区别，有...
【Hadoop大数据技术】——Hadoop概述与搭建环境（学习笔记）
HinsCoder的博客
03-05 3327
随着大数据时代的到来，大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架，它既可以为海量数据提供可靠的存储；也可以为海量数据提供高效的处理。
【Hadoop大数据技术】——Sqoop数据迁移（学习笔记）
HinsCoder的博客
04-20 2219
在实际开发中，有时候需要将HDFS或Hive上的数据导出到传统关系型数据库中（如MySQL、Oracle等），或者将传统关系型数据库中的数据导入到HDFS或Hive上，如果通过人工手动进行数据迁移的话，就会显得非常麻烦。为此，可使用Apache提供的Sqoop工具进行数据迁移。
大数据学习笔记——zookeeper在hadoop集群中的作用
m0_67391870的博客
08-28 1137
测试中集群是可以不需要高可用的，即使用一个namenode即可。但是在生产环境中为了提高集群的可靠性，需要增加一个namenode备用，当active的namenode挂了之后，系统会启动standby的namenode。这就需要zookeeper监控namenode的状态。zookeeper主要是用来搭建高可用的Hadoop集群，即High Availability，简称(HA)...
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
大数据技术——Hadoop（学习笔记1）
RomanticRick的博客
03-25 2303
大数据技术——Hadoop Hadoop概述 Hadoop 运行环境搭建 1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。 2）主要功能是处理海量数据的存储和海量数据的分析计算问题。 3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。 1.2Hadoop发展历史（了解） 创始人：Doug Cutting Hadoop的大数据思想之源是来自Google在.
基于Java的家庭理财系统设计与开发-金融管理-家庭财产管理-实用性强
11-07
内容概要：文章探讨了互联网时代的背景下开发一个实用的家庭理财系统的重要性。文中分析了国内外家庭理财的现状及存在的问题，阐述了开发此系统的目的——对家庭财产进行一体化管理，提供统计、预测功能。系统涵盖了家庭成员管理、用户认证管理、账单管理等六大功能模块，能够满足用户多方面查询及统计需求，并保证数据的安全性与完整性。设计中运用了先进的技术栈如SSM框架（Spring、SpringMVC、Mybatis），并采用MVC设计模式确保软件结构合理高效。 适用人群：对于希望科学地管理和规划个人或家庭财务的普通民众；从事财务管理相关专业的学生；有兴趣于家政学、经济学等领域研究的专业人士。 使用场景及目标：适用于日常家庭财务管理的各个场景，帮助用户更好地了解自己的消费习惯和资金状况；为目标客户提供一套稳定可靠的解决方案，助力家庭财富增长。 其他说明：文章还包括系统设计的具体方法与技术选型的理由，以及项目实施过程中的难点讨论。对于开发者而言，不仅提供了详尽的技术指南，还强调了用户体验的重要性。
弹性盒子Flexbox布局.docx
最新发布
11-07
弹性盒子Flexbox布局.docx
网络财务系统 SSM毕业设计 附带论文.zip
11-07
网络财务系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
联想电脑的bios设置
11-07
联想电脑的bios设置、图文都有
1_教务处关于云南师范大学2024年大学生科研训练基金项目立项申报工作的通知 (1).zip
11-07
1_教务处关于云南师范大学2024年大学生科研训练基金项目立项申报工作的通知 (1).zip
基于Python实现的自然语言处理大作业-方面情感分析+源代码+文档说明+实验报告
11-07
<项目介绍> 基于Python实现的自然语言处理大作业——方面情感分析+源代码+文档说明+实验报告 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途
基于Python的Web安全扫描软件设计与实现
11-07
内容概要：本文探讨了使用Python语言构建一个集成漏洞扫描系统的可能性，旨在解决中小型网络运维人员面临的网络安全挑战。系统采用B/S架构，使用Django框架实现快速开发，Docker容器承载扫描工具Nmap。文中介绍了项目的背景、国内外研究现状、需求分析、系统设计、实现过程和测试结果。 适合人群：初级运维人员和网络安全研究者。 使用场景及目标：系统平台用于检测Web应用程序的安全漏洞，提供轻量级、学习成本低的解决方案，提升网络安全管理水平。 其他说明：虽然系统实现了预期功能，但仍存在一些不足，如架构相对简单、功能单一等问题，未来可以进一步优化。
Spark核心概念解析：RDD详解与应用
"Python学习笔记——大数据之SPARK核心" Spark的核心概念是RDD（Resilient Distributed Datasets），这是一种弹性分布式数据集，它结合了多种计算模型，为大数据处理提供了高效和灵活的解决方案。RDD可以看作是存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值