- 博客(138)
- 收藏
- 关注
RSS订阅原创 使用MistNet在COCO128数据集上协作训练Yolo-v5
数据分散在不同的地方（如边缘节点、摄像头等），由于数据隐私和带宽的原因，无法在服务器上聚合。因此，传统算法（例如，联合平均算法）通常聚合由不同边缘客户端训练的更新权重，在这种情况下无法工作。MistNet 将 DNN 模型分为两部分，边缘侧的轻量级特征提取器用于从原始数据生成有意义的特征，以及包含云中最多模型层的分类器，用于针对特定任务进行迭代训练。训练工作器：kubeedge/sedna-example-federated-learning-mistnet-yolo-client:v0.4.0。
2024-01-11 15:36:57
687
1
原创 Enable Kubectl logs/exec to debug pods on the edge
在cloudcore和edgecore上修改/etc/kubeedge/config/cloudcore.yaml和/etc/kubeedge/config/edgecore.yaml。如果您通过 kubeadm 设置您的 Kubernetes 集群，这些文件将位于 /etc/kubernetes/pki/ 目录中。wget https://github.com/kubeedge/kubeedge/blob/v1.10.0/build/tools/certgen.sh #下载对应版。
2024-01-10 11:12:00
1118
原创 MapReduce编程：Join应用
Reduce Join Map JoinMap 端的主要工作：为来自不同表或文件的key/value 对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。Reduce 端的主要工作：在Reduce 端以连接字段作为key 的分组已经完成，只需要在每一个分组当中将那些来源于不同文件的记录（在Map 阶段已经打标志）分开，最后进行合并就可以。
2023-12-22 12:42:29
491
原创 实验三 MapReduce编程
二、创建com.nefu.(xingming).serialize包，编写ScoreBean、Mapper、Reducer、Driver三个类，实现统计每个学号的平均成绩。（1）创建com.nefu.(xingming).maxcount包，编写wordcountMapper、Reducer、Driver三个类，实现统计每个学号的最高消费。（4）添加文件data1.txt，重新运行程序，共有几个切片，几个MapTask（截图）（3）查看日志，共有几个切片，几个MapTask（截图）
2023-12-18 12:38:33
561
原创 MapReduce序列化实例代码
自定义序列化 1）需求：统计每个学号该月的超市消费、食堂消费、总消费2）输入数据格式序号 学号 超市消费 食堂消费18 202200153105 8.78123）期望输出格式key（学号） value（bean对象）
2023-12-17 22:02:11
465
原创 通信协议 远程调用RPC
实际的使用场景需要有一个实现了这个接口的类，该类提供了 mkdirs 方法的具体实现。综合起来，这段代码实现了一个简单的Hadoop RPC服务器，该服务器监听在本地地址（localhost）的9999端口上，并实现了RPCprotocol接口中的mkdirs方法。综合起来，这段代码实现了一个Hadoop RPC客户端，该客户端连接到在本地地址（localhost）的9999端口上运行的RPC服务器，并通过RPC调用向服务器发送了一个 mkdirs 请求，创建了名为 "/input" 的目录。
2023-12-08 09:27:31
1310
原创 IDEA中.java .class .jar的含义与联系
当使用IntelliJ IDEA这样的集成开发环境进行Java编程时，通常涉及.java源代码文件、.class编译后的字节码文件以及.jar可执行的Java存档文件。
2023-12-06 21:04:26
1117
原创 HDFS客户端及API操作实验
1.掌握HDFS的客户端操作，包括上传文件、下载文件、重命名、查看目录等；2.掌握HDFS的JavaAPI使用，能够利用JavaAPI实现上传、下载等常用操作；
2023-12-04 20:06:55
606
原创 HADOOP：：Fsimage和Edits解析
NameNode被格式化之后，将在/opt/module hadoop-3.1.3/data/tmp/dfs/name/curent目录中产生如下文件seen_txidVERSION: HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。:存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。保存的是一个数字，就是最后一个edits_的数字。
2023-12-03 18:32:45
1295
原创 R语言实验三
1、读取一个文件并进行如下操作。①使用命令清空工作空间，使用read.table读取exam_1.txt文件，将文件保存到data变量中，数据第一行设置为列名，第一列是行名。②判断对象data是否为矩阵。③将对象转换为矩阵，记为data1。
2023-12-01 15:08:19
669
原创 R语言期末考试复习二
1.给向量vec1设置名为"A","B","C","D","E","F","G"。2.将矩阵mat1的行名设置为"Row1"，"Row2"，"Row3"，列名设置为"Col1"，"Col2"，"Col3"，"Col4"。3.将数据框df1的列名分别修改为："Name"、"Age"、"Gender"。4.将数组arr1的维度名设置为"Dim1"，"Dim2"，"Dim3"。5.将列表list1的元素名分别修改为："Vector1"，"Matrix1"。
2023-11-27 22:26:54
1044
原创 HDFS JAVA API的应用
1. (简答题)使用HDFS 的JAVA API 进行编程：（1）获取自己HDFS集群下的所有文件和目录；（2）在跟目录下创建以自己名字拼音缩写命名的目录，并任意上传一个文件至该目录；（3）下载（2）中上传的文件。要求：分别上传3道小题的源代码和结果截图（浏览器或控制台）。
2023-11-26 19:44:00
661
原创 大数据基础 HDFS客户端操作
我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的方式更加方便和标准，进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自身是纯java开发的，可以使用maven对java项目进行构建、依赖管理。
2023-11-26 17:26:54
1176
原创 R语言阶段复习一
创建一个数据框，包含3列，分别是姓名、年龄和性别，姓名为"John", "Mary", "Tom"，年龄为25, 30, 35，性别为"男"，"女"，"男"，并命名为df1。创建一个因子，包含6个水果："apple", "banana", "orange", "apple", "grape", "banana"，并命名为fruit。创建一个长度为7的字符向量，元素为"A", "B", "C", "D", "E", "F", "G"，并命名为vec1。判断mat1是否为矩阵类型。判断df1是否为数据框类型。
2023-11-25 21:40:53
995
原创 复杂数据统计与R语言程序设计实验一
1.下载并安装R语言软件，熟悉基本操作的命令及操作界面，掌握软件的使用方法（提供学号加姓名的截图）。2.下载并安装Rstudio， （提供运行代码及运行结果的截图）。3.下载并安装R包DT，并运行命令datatable(iris)，得到交互式表格，并提供安装成功截图以及交互式表格截图。4.熟悉并运行课件中的所有命令，并提供运行截图。
2023-11-21 01:46:05
733
原创 复杂数据统计与R语言程序设计实验二
1、创建一个对象，并进行数据类型的转换、判别等操作，步骤如下。①使用命令清空工作空间，创建一个对象x，内含元素为序列：1，3，5，6，8。使用命令清空工作空间，获取iris数据，并将其保存到变量data中。②查看data的维度，以及变量类型。③计算第一列的最大值，最小值，均值
2023-11-17 16:45:41
790
原创 使用Python进行可视化
在使用python进行数据分析的过程中，绘制图表常常是理解数据最为关键的一步；Python提供了5大可视化库：是Python可视化库中的泰斗，公认的可视化工具，可以方便地设计和输出二维及三维的数据；在Matplotlib的基础上进行了更高级的API封装，提供一种高度交互式界面，使得制图更容易；Bokeh：专门针对web浏览器的交互式Python库，支持现代化web浏览器展示；Plotly：是一个开源、交互和基于浏览器的python库，可创建能在仪表板或网站中使用的交互式图表；
2023-11-16 21:48:24
119
原创 Matplotlib的使用方法
Matplotlib是Python最著名的绘图库，它提供了一整套和Matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入到GUI应用程序中。Matplotlib能够创建多数类型的图表，如条形图、散点图、条形图、饼图、堆叠图、3D图和地图图表。 Python安装好以后，默认是没有安装Matplotlib库的，需要单独安装。在W
2023-11-13 20:24:47
664
原创 Hadoop环境搭建
Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件，然后对外提供大数据存储和分析等相关服务。因为他们之间要进行互通，关闭防火墙是为了他们之间在构建集群的时候不会因为防火墙和端口的限制。因为可能版本不兼容，所以要卸载，因为可能有依赖关系，所以强制卸。这里我写的比较简略，因为我已经很熟练了，这个是我当时学配置静态ip的博客，会改就行。12，13,14,15,16，17都可以，但是要注意输入对应版本的序列号。注意：基本配置用hadoop，安装软件，启动服务都用hadoop。
2023-11-04 22:52:18
562
原创 计算机网络 期末复习方向
引入问题：如果网络的局域网不考虑网络的扩展问题之后，我们小范围的网络扩展实现之后，不考虑其他的问题，那么网络传输所有的问题都解决了。网络应用的增加，新的问题的产生：不同类型的局域网想相互连接起来进一步扩大网络存在的范围，引入了当前的互联网。1.现实上不同类型的局域网相互连接扩展形成更大的网络，我们采用的思想是求同存异，保留现实网络的区别，求得一个相同的网络。网络的范围想进一步扩大，网络的物理组成实体是：由我们的局域网构成：不同类型的局域网提出了一个扩展的需求，怎样解决？
2023-10-29 18:40:57
453
1
原创 ETL工具Kettle
1 Kettle的基本概念一个数据抽取过程，主要包括创建一个作业（Job），每个作业由一个或多个作业项（Job Entry）和连接作业项的作业跳（Job Hop）组成。每个作业项可以是一个转换（Transformation）或是另一个作业。一个转换由一个或多个步骤（Step）和连接步骤的跳（Hop）组成。
2023-10-28 22:31:44
828
原创 瑞士军刀Netcat
netcat称为网络工具中的瑞士军刀，体积小巧，但功能强大，为了方便常用nc作为其简称。 它可以在两台设备上面相互交互，主要就是侦听模式和传输模式。
2023-10-22 09:19:40
218
原创 Telent
Telnet协议是一种远程登录协议，它允许用户通过网络连接到远程主机并在远程主机上执行命令。Telnet协议是TCP/IP协议族中的一员，是Internet远程登录服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话，必须输入用户名和密码来登录服务器。Teln
2023-10-22 09:12:32
323
原创 计算机网络第四层 运输层
网络通信的本质是运行的主机上的进程之间的通信同一个主机上有多个进程在工作，进程如何加以区分标识（PID）---本地主机网络上的主机需要一个统一的进程标识分配机制逻辑端口的概念（端口）：一个整数值（16位）；0-65535网络上中进程工作方式：C/S 对应的端口号码的分配也分为两大类；服务类（静态的预先指定的）1-1013（默认系统熟知的服务）1023-45191（需要申请注册的服务 QQ4000,8000都是它所使用的端口）客户类（随机的由本地操作系统自己管控）
2023-10-12 10:39:27
588
原创 实验1机器学习之线性回归实验
（1）理解一元线性回归和多元线性回归的数学原理，能够利用sklearn中相关库解决现实世界中的各类回归问题；（2）掌握利用matplotlib对一元线性回归模型进行可视化的方法，并分析模型的优劣；（3）掌握利用statsmodels进行线性回归并进行模型评价的方法；（4）掌握利用回归模型对现实问题进行分析和解释的能力。（1）硬件：PC机；（2）软件：Anaconda Jupyter Notebook，Spyder，Pandas（一）基于伊春市木材剩余物数据利用回归模型预测木材剩余物。
2023-10-09 22:24:02
1314
原创 Python：Jupyter：OSError: Initializing from file failed
read_csv时发生报错：OSError: Initializing from file failed
2023-10-09 20:46:39
1036
原创 Numpy科学计算基础库--numpy基础知识
对数组执行和时，Numpy 是非常有用的。在用 Python 对进行运算时，Numpy 库提供了大量有用特征。Numpy 库数组有两种形式：向量和矩阵。严格地讲，向量是一维数组，矩阵是多维数组。在某些情况下，矩阵只有一行或一列。在导入 Numpy 库时，我们通过 as 将 np 作为 Numpy 的别名，导入方式如下。
2023-10-05 17:58:14
180
原创 Hadoop的安装和使用，Windows使用shell命令简单操作HDFS
Hadoop的安装和使用，Windows使用shell命令简单操作HDFS，Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。 高可靠性。 高效性。 高可扩展性。 高容错性。 成本低。 运行在Linux平台上。 支持多种编程语言。,2，分布式文件系统HDFS
2023-09-11 22:29:30
3146
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人