![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发技术
文章平均质量分 78
智能边缘探索记
我们团队致力于探索联邦学习前沿,我们的智能行为检测系统通过Kubernetes、KubeEdge、EdgeMesh和Sedna的融合,克服分布式部署挑战,实现边缘计算优势。本系列博客旨在分享集群搭建心得,解决方案,帮助你洞察联邦学习的实践应用。
展开
-
MapReduce编程:Join应用
Reduce Join Map JoinMap 端的主要工作:为来自不同表或文件的key/value 对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。Reduce 端的主要工作:在Reduce 端以连接字段作为key 的分组已经完成,只需要在每一个分组当中将那些来源于不同文件的记录(在Map 阶段已经打标志)分开,最后进行合并就可以。原创 2023-12-22 12:42:29 · 527 阅读 · 0 评论 -
实验三 MapReduce编程
二、创建com.nefu.(xingming).serialize包,编写ScoreBean、Mapper、Reducer、Driver三个类,实现统计每个学号的平均成绩。(1)创建com.nefu.(xingming).maxcount包,编写wordcountMapper、Reducer、Driver三个类,实现统计每个学号的最高消费。(4)添加文件data1.txt,重新运行程序,共有几个切片,几个MapTask(截图)(3)查看日志,共有几个切片,几个MapTask(截图)原创 2023-12-18 12:38:33 · 618 阅读 · 0 评论 -
MapReduce序列化实例代码
自定义序列化 1)需求:统计每个学号该月的超市消费、食堂消费、总消费2)输入数据格式序号 学号 超市消费 食堂消费18 202200153105 8.78123)期望输出格式key(学号) value(bean对象)原创 2023-12-17 22:02:11 · 471 阅读 · 0 评论 -
WordCount 源码解析 Mapper,Reducer,Driver
Mapper,Reducer,Driver原创 2023-12-08 09:38:16 · 795 阅读 · 0 评论 -
通信协议 远程调用RPC
实际的使用场景需要有一个实现了这个接口的类,该类提供了 mkdirs 方法的具体实现。综合起来,这段代码实现了一个简单的Hadoop RPC服务器,该服务器监听在本地地址(localhost)的9999端口上,并实现了RPCprotocol接口中的mkdirs方法。综合起来,这段代码实现了一个Hadoop RPC客户端,该客户端连接到在本地地址(localhost)的9999端口上运行的RPC服务器,并通过RPC调用向服务器发送了一个 mkdirs 请求,创建了名为 "/input" 的目录。原创 2023-12-08 09:27:31 · 1323 阅读 · 0 评论 -
IDEA中.java .class .jar的含义与联系
当使用IntelliJ IDEA这样的集成开发环境进行Java编程时,通常涉及.java源代码文件、.class编译后的字节码文件以及.jar可执行的Java存档文件。原创 2023-12-06 21:04:26 · 1252 阅读 · 0 评论 -
HDFS客户端及API操作实验
1.掌握HDFS的客户端操作,包括上传文件、下载文件、重命名、查看目录等;2.掌握HDFS的JavaAPI使用,能够利用JavaAPI实现上传、下载等常用操作;原创 2023-12-04 20:06:55 · 690 阅读 · 0 评论 -
HADOOP::Fsimage和Edits解析
NameNode被格式化之后,将在/opt/module hadoop-3.1.3/data/tmp/dfs/name/curent目录中产生如下文件seen_txidVERSION: HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件inode的序列化信息。:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到Edits文件中。保存的是一个数字,就是最后一个edits_的数字。原创 2023-12-03 18:32:45 · 1347 阅读 · 0 评论 -
HDFS JAVA API的应用
1. (简答题)使用HDFS 的JAVA API 进行编程:(1)获取自己HDFS集群下的所有文件和目录;(2)在跟目录下创建以自己名字拼音缩写命名的目录,并任意上传一个文件至该目录;(3)下载(2)中上传的文件。要求:分别上传3道小题的源代码和结果截图(浏览器或控制台)。原创 2023-11-26 19:44:00 · 665 阅读 · 0 评论 -
大数据基础 HDFS客户端操作
我们之所以要使用Maven,是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制,这些功能可以使得我们的项目结构更加清晰,导入jar包的方式更加方便和标准,进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目,解释为“专家,内行”,它是一个项目管理的工具,maven自身是纯java开发的,可以使用maven对java项目进行构建、依赖管理。原创 2023-11-26 17:26:54 · 1184 阅读 · 0 评论