小码农叔叔
这个作者很懒,什么都没留下…
展开
-
springboot 整合hbase
springboot 整合hbase原创 2022-04-09 16:40:34 · 12141 阅读 · 0 评论 -
springboot 整合 clickhouse
springboot 整合 clickhouse原创 2022-02-08 18:27:06 · 78593 阅读 · 39 评论 -
hadoop实现求共同好友
hadoop实现求共同好友原创 2022-01-09 16:55:59 · 12649 阅读 · 8 评论 -
hadoop中join操作
hadoop中join操作原创 2022-01-08 17:01:24 · 4707 阅读 · 0 评论 -
hadoop 自定义OutputFormat
hadoop 自定义OutputFormat原创 2022-01-08 12:13:51 · 7129 阅读 · 0 评论 -
hadoop使用combiner合并操作
hadoop使用combiner合并操作原创 2022-01-05 21:41:53 · 4971 阅读 · 0 评论 -
MapReduce之WordCount案例
MapReduce之WordCount案例原创 2022-01-01 16:33:24 · 15732 阅读 · 0 评论 -
Java操作hdfs文件系统
前言在上一篇,我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作,本篇将分享如何基于JavaAPI 操作hdfs文件系统前置准备默认服务器上的hadoop服务已经启动本地如果是windows环境,需要本地配置下hadoop的环境变量本地配置hadoop的环境变量1、官网下载一个与服务器上的hadoop同样的版本包2、将这个路径配置到系统变量中编码环境前置准备使用idea快速构建一个springoot的工程1、导入maven依赖 <depende原创 2021-12-26 17:44:14 · 13019 阅读 · 10 评论 -
hadoop 实现序列化
hadoop 实现序列化原创 2022-01-01 22:13:51 · 17684 阅读 · 8 评论 -
hadoop 切片机制详解
hadoop切片机制详解原创 2022-01-02 17:38:36 · 15004 阅读 · 16 评论 -
hadoop 自定义分区
hadoop 自定义分区总结原创 2022-01-03 11:23:08 · 13461 阅读 · 37 评论 -
hadoop 实现数据排序
hadoop 实现数据排序原创 2022-01-03 17:07:35 · 17416 阅读 · 217 评论 -
clickhouse 同步 mysql数据
clickhouse 同步 mysq数据原创 2022-02-01 12:27:58 · 45008 阅读 · 6 评论 -
Flink 统计页面点击量
Flink 统计页面点击量原创 2022-04-04 12:39:43 · 12723 阅读 · 2 评论 -
centos7 安装单机 ClickHouse
centos7安装单机 ClickHouse原创 2022-01-25 19:33:05 · 6634 阅读 · 4 评论 -
基于单机hdfs安装hive
基于单机hdfs安装hive原创 2022-01-17 23:11:50 · 4596 阅读 · 0 评论 -
阿里云安装单机hbase
阿里云安装单机hbase原创 2022-01-05 22:41:19 · 3087 阅读 · 0 评论 -
HDFS常用文件操作命令汇总
常用的hdfs文件操作命令总结原创 2021-12-26 11:04:44 · 18015 阅读 · 8 评论 -
centos7搭建hadoop
前言hadoop是其他大数据框架的基础运行环境,尤其是hdfs,是其他大数据框架的基础存储载体,因此学习和掌握hadoop对学习大数据很有必要haddop常用的3种运行模式包括:本地模式 ,单机运行,只是用来演示一下官方案例。生产环境不用伪分布式模式,也是单机运行,但具备Hadoop集群所有功能,一台服务器模拟一个分布式的环境完全分布式模式:多台服务器组成分布式环境。生产环境使用本篇将基于centos7系统,在腾讯云环境快速搭建一个单节点的haddop运行环境前置准备一台配置好网络连接原创 2021-12-24 22:06:09 · 15701 阅读 · 7 评论 -
win10搭建hadoop环境
前言学习大数据框架,hadoop是许多其他框架的基础,因此需要掌握如何快速搭建hadoop的应用环境通常来说,hadoop本地模式,伪分布模式和完全分布式,本篇以伪分布式单节点为例,快速在win10电脑上搭建出单节点的hadoop的运行环境,linux环境下可类似的操作环境准备1、前置准备JDK环境,至少JDK1.8,相信JDK的环境安装就不再多说了吧,安装之后,确认下是否安装成功2、下载合适版本的hadoop安装包前往如下链接,https://mirrors.tuna.tsinghua.e原创 2021-06-19 16:31:34 · 1595 阅读 · 0 评论 -
win10快速搭建scala环境
前言scala作为大数据开发的标配语言,掌握scala的开发显得尤为重要,本篇先简单介绍下如何基于windows快速搭建scala的运行环境配置过程1、官网下载scala的安装包(可以理解为Java下的JDK),https://www.scala-lang.org/download/如果是windows,请选择.zip的那一个2、下载到本地后,放到磁盘的某个路径下,目录最好不要有中文,我这里选择的是scala-2.12.8版本,可以根据自己的需求选择不同的版本3、配置环境变量,这个和配置JD原创 2021-04-08 22:28:59 · 790 阅读 · 0 评论