自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(332)
  • 资源 (5)
  • 收藏
  • 关注

原创 Pandas和Spark知识汇总

Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读

2021-01-03 23:16:00 57 1

原创 Linux常用命令详解和服务器知识汇总

Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...

2021-01-01 21:08:38 35

原创 Docker容器原理详解和实战应用

Docker容器原理详解和实战应用文章内容链接Docker核心原理,Docker在线安装和离线安装Docker核心原理,Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源,同时搭建本地私有镜像仓库,配置其他docker服务器从私有镜像仓库拉取镜

2021-01-01 20:54:29 32

原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解

Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原

2021-01-01 20:10:10 67

原创 Python基础知识汇总和应用示例

Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python

2021-01-01 14:12:51 49 1

原创 Kettle详细使用教程

Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值

2021-01-01 13:19:24 148

原创 Scala基础知识汇总和应用示例

Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库,增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库,增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca

2021-01-01 13:10:51 25

原创 Java基础知识汇总

Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串

2021-01-01 12:47:58 12

原创 SQL Server语法大全和函数使用方法汇总

SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT

2021-01-01 12:13:22 52

原创 ELK集群搭建和使用详解:filebeat、Logstash、Kibana、Elasticsearch

ELK集群搭建和使用详解:filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs

2020-12-18 11:32:52 43

原创 大数据集群搭建:安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume集群

大数据集群搭建:安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建:Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19

2020-12-18 11:08:38 148

原创 大数据集群环境搭建:Hadoop、Spark、Flink分布式集群环境

Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器:https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下:主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16

2020-04-08 16:00:59 498

原创 PMP:五大过程组与十大知识领域

PMP:五大过程组与十大知识领域知识领域启动过程组(2)规划过程组(24)执行过程组(10)监控过程组(12)收尾过程组(1)整合管理(7)制定项目章程制定项目管理计划指导与管理项目工作,管理项目知识监控项目工作,实施整体变更控制结束项目或阶段范围管理(6)规划范围管理、收集需求、定义范围、创建工作分解结构确认范围、控制范围进度管理(6)规划进度管理、定义活动、排列活动顺序、估算活动持续时间、制定进度计划控制进度成本管理(4)

2021-04-15 16:59:34 4

原创 PMP第三章:项目管理过程及五大过程组

PMP第三章:项目管理过程及五大过程组一、项目管理过程及过程组过程:为创建预定的产品、成果或服务而执行的一系列相互关联的行动和活动。每个过程都有各自的输入、工具和技术以及相应输出。启动过程组:定义一个新项目或现有项目的一个新阶段,授权开始该项目或阶段的一组过程。规划过程组:明确项目全部范围、定义和优化目标,并为实现目标制定行动方案的一组过程。执行过程组:完成项目管理计划中确定的工作,以满足项目要求的一组过程监控过程组:跟踪、审查和调整项目进展与绩效,识别必要的计划变更并启动相应变更的一组过程

2021-04-15 14:06:56 1

原创 Flume原理和Flume配置文件参数详解

Flume配置文件参数详解一、认识Apache Flume二、Flume工作原理三、声明source、channel、sink四、Source类型1.Kafka Source示例五、Channel类型1.FIle Channel示例六、Sink类型1.HDFS的Sink示例2.HIVE的Sink示例七、Source是kafka的配置文件详解八、Channel配置文件详解九、Sink是HDFS的配置文件详解一、认识Apache FlumeApache Flume是一个分布式,可靠且可用的系统,用于有效地收

2021-04-14 08:24:26 10

原创 Apache Flume1.9.0源码编译

Apache Flume1.9.0源码编译一、注释flume-ng-morphline-solr-sink模块二、在Apahce Flume的pom.xml文件中增加阿里云和CDH的repository三、命令行打包Apache Flume1.9.0四、编译过程可能遇到的报错解决方法错误1:Cannot resolve ua_parser:ua-parser:1.3.0错误2:group id '656741719' is too big ( > 2097151 ).错误3:Could not tra

2021-04-13 16:33:41 3

原创 设置ssh config快速登陆常用的服务器和快速登陆服务器集群列表选择想登陆的任意一台服务器

设置ssh config快速登陆常用的服务器1.设置ssh config,IdentityFile替换成自己的私钥文件Vim /Users/fy/.ssh/configHost bigdata1 HostName 192.168.239.131 User fy Port 22 IdentityFile /Users/fy/fy.private_key ProxyCommand /usr/local/bin/ncat --proxy proxy-xxx.com:8

2021-04-12 09:55:34 11

原创 Screen后台运行程序

Screen后台运行程序一、新建screen,并指定名称为fycscreen -S fyc二、列出所有session#列出当前所有的sessionscreen -lsThere are screens on: 373.fyc (Attached) 60782.p (Detached)2 Sockets in /var/run/screen/S-fy373.fyc (Attached)为Attached状态,要先使状态是

2021-04-12 09:47:31 7

原创 PMP第三章:项目经理的角色

PMP第三章:项目经理的角色一、项目经理概述项目经理可能在项目启动前就参与评估和分析活动。活动可能包括咨询管理层和业务部门领导者的想法,以推进战略目标的实现、提高组织绩效,或满足客户需求。项目经理可能要管理或协助项目的商业分析、商业论证的制定以及项目组合管理事宜。项目经理可能还参与后续跟进活动,以实现项目的商业效益。成员与角色:团队成员需要承担各种不同的角色。在团队中的职责:要从整体的角度来看待团队产品,以便进行规划、协调和完成。知识和技能:应具备项目管理知识、技术知识、理解和经验。项目经理

2021-04-10 11:23:08 29

原创 PMP第二章:项目运行环境

PMP第二章:项目运行环境一、目录概述事业环境因素:组织内部的事业环境因素;组织外部的事业环境因素。组织过程资产:过程、政策和程序;组织知识库。组织系统:概述;组织治理框架;管理要素;组织结构类型。二、项目运行环境概述项目所处的环境可能对项目的开展产生有利或不利的影响。这些影响的两大主要来源为:事业环境因素EEF和组织过程资产OPA1.事业环境因素EEF内部和外部,客观存在,可能有帮助或阻碍,项目经理必须遵守。内部:组织文化、结构和流程。设施和资源的地理分布。基础设施。信息

2021-04-10 11:06:43 10

原创 PMP第一章:引论介绍

PMP第一章:引论介绍1.PMBOK指南概述和目的项目管理标准通用词汇道德与专业行为规范2.基本要素项目项目管理的重要性项目、项目集、项目组合以及运营管理之间的关系指南的组成部分裁剪项目管理商业文件3.项目管理标准标准是基于权威、惯例或共识而建立并用作模式或范例的文件。标准确认了在大多数时候都被大多数项目视作良好实践的过程。4.道德与专业行为规范责任:对自己所做的决策或未做决策、所采取的行为或未采取行为,以及相应的后果,承担责任尊重:对自己、他人和委托给自己的资源

2021-04-09 22:17:43 21

原创 CentOS7安装RabbitMQ

CentOS7安装RabbitMQRabbitMQ是一个开源的遵循AMQP协议实现的基于Erlang语言编写,支持多种客户端(语言),用于分布式系统种存储消息,转发消息,具有高可用,高可扩性,易用性等特征。一、下载安装ErlangRabbitMQ是基于Erlang语言编写,安装RabbitMQ需要先安装Erlang,查看RabbitMQ对Erlang的版本要求:https://www.rabbitmq.com/which-erlang.html1.添加Erlang的yum源vim /etc/y

2021-04-09 09:11:00 7

原创 Springboot整合Shiro:实现拦截登陆

Springboot整合Shiro:实现拦截登陆一、目录结构二、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http

2021-04-08 13:16:42 9

原创 Springboot整合Shiro

Springboot整合Shiro一、创建新的模块springboot-shiro二、查看完整的目录结构三、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave

2021-04-08 11:49:18 8

原创 消息中间件原理

消息中间件原理一、中间件二、中间件种类三、分布式架构四、消息中间件五、消息中间件的核心组成部分六、网络协议七、AMQP协议八、Kafka协议九、消息的持久化十、消息的分发策略十一、消息队列高可用和高可靠一、中间件中间件是处于操作系统和应用程序之间的软件,使用中间件时,往往是一组中间件集成在一起,构成一个平台,但是在这组中间件中必须要有一个通信中间件,即中间件=平台+通信,这个定义也限定了只有用于分布式系统中才能称为中间件,同时还可以把它与支撑软件和实用软件区分开来。中间件特点:满足大量应用的需要

2021-04-08 08:24:47 12

原创 Shiro简介与快速入门案例

Shiro简介Apache Shiro是一个Java的安全权限框架Shiro可以非常容易的开发出足够好的应用,不仅可以在JavaSE环境,还可以用在JavaEE环境Shiro可以完成认证、授权、加密、会话管理、web集成、缓存等Shiro管网:https://shiro.apache.org/download.html一、Shiro架构Subject:应用代码直接交互的对象是Subject,也就是说Shiro的对外API核心就是Subject,Subject代表了当前的用户,这个用户不

2021-04-06 09:40:58 33 3

原创 Springboot整合Swagger:配置Swagger

Springboot整合Swagger:配置Swagger一、pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.or

2021-04-05 22:02:02 8

原创 Springboot整合Swagger:集成Swagger

Springboot整合Swagger:集成SwaggerSwagger是可视化 RESTful 风格的API接口说明文档新建SpringBoot项目导入相关依赖编写Hello工程配置Swagger一、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2

2021-04-05 19:41:45 17 1

原创 mongodb debezium

vim mongdb.properties "name": "mongodb-debezium-connector", "connector.class": "io.debezium.connector.mongodb.MongoDbConnector", tasks.max: 1, "mongodb.hosts": "10.10.128.103:27017", "mongodb.name": "mongdbdebezium", "mongodb.user": "mongo

2021-04-01 08:44:53 27

原创 mongodb集群搭建

vim /etc/profileexport MOGODB_HOME=/moudle/mongodb/export PATH=$MOGODB_HOME/bin:$PATHsource /etc/profilemongod --config /moudle/mongodb/mongo.confabout to fork child process, waiting until server is ready for connections.forked process: 2749chil

2021-03-31 23:17:47 29 1

原创 sqlserver debezium

EXEC sys.sp_cdc_enable_dbGOSELECT FILEGROUP_NAME(1) AS [Filegroup Name];EXEC sys.sp_cdc_enable_table@source_schema = N'dbo',@source_name = N'stuInfo', @role_name = N'MyRole',@filegroup_name = N'PRIMARY', @supports_net_changes =

2021-03-31 08:54:43 22

原创 安装PostgreSql

# Install the repository RPM:sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm# Install PostgreSQL:sudo yum install -y postgresql11-servermkdir /data/pgdatauseradd postgresc.

2021-03-30 08:33:25 23 1

原创 Springboot整合MyBatis-plus:完整代码

Springboot整合MyBatis-plus:完整代码一、目录结构二、pom.xml配置文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.

2021-03-28 13:34:12 17

原创 Springboot整合MyBatis-plus:代码生成器

Springboot整合MyBatis-plus:代码生成器AutoGenerator是MyBatis-Plus的代码生成器,通过AutoGenerator可以快速生成Entity、Mapper、Mapper XML、Service、Controller等各个模块的代码,极大的提升了开发效率。一、查看代码目录结构二、添加依赖 <dependency> <groupId>io.springfox</groupId>

2021-03-28 13:19:35 12

原创 Springboot整合MyBatis-plus:条件构造器

Springboot整合MyBatis-plus:条件构造器 @Test public void textWrapper(){ QueryWrapper<Stu_info> wrapper = new QueryWrapper<>(); wrapper .isNotNull("name") .isNotNull("sex") .ge("a

2021-03-28 09:28:47 8

原创 Springboot整合MyBatis-plus:单条数据删除、批量删除、条件删除、逻辑删除

Springboot整合MyBatis-plus:单条数据删除、批量删除、条件删除、逻辑删除一、单条数据删除 //单个删除 @Test public void testDeleteById(){ stuMapper.deleteById(2); }二、批量删除 @Test public void testDeleteBatchId(){ stuMapper.deleteBatchIds(Arrays.asList(3,4,5

2021-03-28 08:14:50 11

原创 Springboot整合MyBatis-plus:单条数据查询,批量查询,条件查询,分页查询

Springboot整合MyBatis-plus:单条数据查询,批量查询,分页查询一、单条数据查询//单条数据查询 @Test public void testSelectById(){ Stu_info user = stuMapper.selectById(2); System.out.println(user); }二、批量查询 @Test public void testSelectByBatchId(){

2021-03-27 22:59:10 14

原创 Mac 使用私钥登陆服务器

Mac 使用密钥登陆服务器一、设置代理有设置代理需求的,按照下面这行命令替换成自己的vim /Users/家目录/.ssh/configHost * ProxyCommand /usr/local/bin/ncat --proxy proxy.nioint.com:8080 --proxy-type http %h %p二、使用私钥登陆服务器前提是生成了公钥私钥对,并且公钥已经放到了服务器上。可以参考这篇博客:Centos7服务器创建新用户,并为新用户创建公钥私钥对,为ssh客户端

2021-03-27 12:32:25 17

原创 Springboot整合MyBatis-plus:乐观锁和悲观锁

乐观锁和悲观锁乐观锁:十分乐观,总是认为不会出现问题,无论干什么都不去上锁,如果出现了问题,再次更新值测试。悲观锁:十分悲观,总是认为会出现问题,无论干什么都会上锁,再去操作。一、乐观锁插件适用场景:当更新一条记录的时候,希望这条记录没有被别人更新。乐观锁实现方式:取出记录时,获取当前version更新时,带上这个version执行更新时,set version = newVersion where version = oldVersion如果version不对,就更新失败乐观锁:

2021-03-27 11:25:03 46

原创 Springboot整合MyBatis-plus:自动填充时间字段

Springboot整合MyBatis-plus:自动填充时间字段一、mysql数据库增加时间字段create_time、update_timealter table stu_info add column create_time datetime not null default '2020-01-01 00:00:00' comment "生成时间";alter table stu_info add column update_time datetime comment "更新时间";二、p

2021-03-26 23:04:51 42

机械建模机械建模各章节课程作业、大作业以及Matlab实现代码

机械建模各章节课程作业、大作业以及Matlab实现代码 减震系统数学模型的建立 运用simulink建模仿真对汽车底盘减震系统的减震特性进行了分析,主要分析了弹性系数和减震器黏度系数对系统减震特性的影响。

2019-02-25

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar

Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错,实现Flink与Hadoop的集成

2020-11-16

机械系统建模与动态分析

机械系统建模与动态分析

2017-07-26

Elasticsearch-head+grunt+node-v12.11.1.zip

CentOS7下Elasticsearch-head,grunt,node-v12.11.1-linux-x64.tar.xz安装包,其中Elasticsearch-head已经配置好解压就可以用了,具体安装方法可以参考博客:CentOS7下安装Elasticsearch-7.3.2:https://blog.csdn.net/zhengzaifeidelushang/article/details/102482562 windows下安装ElasticSearch-7.3.2:https://blog.csdn.net/zhengzaifeidelushang/article/details/100868388

2019-10-11

monitor.7z

python开发的项目监控程序,监控项目各个阶段的埋点状态,利用pyspark实现了数据处理、数据流程监控,能够往钉钉群推送消息,邮件推送报告

2020-05-25

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除