congge

springboot 整合hbase

springboot 整合 clickhouse

hadoop实现求共同好友

hadoop中join操作

hadoop 自定义OutputFormat

hadoop使用combiner合并操作

MapReduce之WordCount案例

前言在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统前置准备默认服务器上的hadoop服务已经启动本地如果是windows环境，需要本地配置下hadoop的环境变量本地配置hadoop的环境变量1、官网下载一个与服务器上的hadoop同样的版本包2、将这个路径配置到系统变量中编码环境前置准备使用idea快速构建一个springoot的工程1、导入maven依赖 <depende

hadoop 实现序列化

hadoop切片机制详解

hadoop 自定义分区总结

hadoop 实现数据排序

clickhouse 同步 mysq数据

Flink 统计页面点击量

centos7安装单机 ClickHouse

基于单机hdfs安装hive

阿里云安装单机hbase

常用的hdfs文件操作命令总结

前言hadoop是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此学习和掌握hadoop对学习大数据很有必要haddop常用的3种运行模式包括：本地模式 ，单机运行，只是用来演示一下官方案例。生产环境不用伪分布式模式，也是单机运行，但具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境完全分布式模式：多台服务器组成分布式环境。生产环境使用本篇将基于centos7系统，在腾讯云环境快速搭建一个单节点的haddop运行环境前置准备一台配置好网络连接

前言学习大数据框架，hadoop是许多其他框架的基础，因此需要掌握如何快速搭建hadoop的应用环境通常来说，hadoop本地模式，伪分布模式和完全分布式，本篇以伪分布式单节点为例，快速在win10电脑上搭建出单节点的hadoop的运行环境，linux环境下可类似的操作环境准备1、前置准备JDK环境，至少JDK1.8，相信JDK的环境安装就不再多说了吧，安装之后，确认下是否安装成功2、下载合适版本的hadoop安装包前往如下链接，https://mirrors.tuna.tsinghua.e

前言scala作为大数据开发的标配语言，掌握scala的开发显得尤为重要，本篇先简单介绍下如何基于windows快速搭建scala的运行环境配置过程1、官网下载scala的安装包（可以理解为Java下的JDK）,https://www.scala-lang.org/download/如果是windows，请选择.zip的那一个2、下载到本地后，放到磁盘的某个路径下，目录最好不要有中文，我这里选择的是scala-2.12.8版本，可以根据自己的需求选择不同的版本3、配置环境变量，这个和配置JD