自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(535)
  • 资源 (2)
  • 收藏
  • 关注

原创 mysql迁移数据全表扫表造成的迁移失败问题

使用insert into select迁移数据的时候请慎重,一定要做好索引。

2024-05-20 15:55:35 363

原创 SpringBoot实现增量部署

进行增量打包后,如果前端有不涉及到后端的修改时都可以对resource中的文件进行替换,且不用重启服务。后端如果有更改,只用更新有变化的jar包即可。如果在项目修改过程中引用了新的jar包,需要把新引用的jar包上传至lib文件夹。最近发现公司发布版本时候,很齐全,接口文档,部署方式等都很好,其中有个增量部署包,有点兴趣,不清楚怎么生成增量包和部署增量包的,特此记录一下。其中可执行包打包的就是除了lib文件夹外其他所有文件的打成的通用包。也可以打成zip包,上传到项目中解压后执行启动命令。

2024-05-17 11:48:15 374

原创 前端无样式id或者class等来定位标签

客户使用我们产品组件,发现替换文件,每次替换都会新增如下的样式,造就样式错乱,是组件的文件,目前临时处理的话就是替换文件时删除新增的样式,但是发现该div标签没有id和class属性,那要怎么定位该div呢?最终验证是正常的展示替换文件了,样式没有错乱,根据样式来定位div标签。

2024-05-14 11:37:01 225

原创 redis抖动问题导致延迟或者断开的处理方案

客户反馈文件偶现打不开,报错现象是session not exist,最终定位是redis抖动导致的延迟/断开的现象,最终研发团方案是加入redis重试机制/重连机制来解决该问题。总结来说,解决Redis响应抖动问题可以通过数据分片、负载均衡、增加实例数量、优化配置、使用Pipeline批量操作、使用缓存等方法来提高Redis的性能和稳定性。接下来,我们需要从连接池中获取一个Redis连接。增加实例数量:如果Redis实例的负载过高,可以考虑增加实例数量,将负载分散到更多的实例上,降低单个实例的负载。

2024-05-11 11:03:08 753 1

转载 Python之文件操作

最终文件桌面也生成了,文件内容也成功写过去了。

2024-05-06 16:50:04 13

原创 navicat连接数据库报1045错误

好久没有连数据库,发现密码记不得了,输了很多次都是错误的,最终不得不走上修改密码的道路。最后将my.ini文件的skip-grant-tables去掉,重新登录。到此成功进入数据库了!

2024-04-26 09:49:45 207

原创 mysql启动报1067错误

修改以后保存,然后mysql的bin目录下输入 net start mysql来启动mysql。最近运行python项目提示mysql版本过低,换了版本启动mysql报1067错误。到此,mysql启动成功了!

2024-04-26 09:30:50 190

原创 Python基础&进阶语法

解析:先循环1到10内的数字,然后过滤大于5的数,赋值到new_list数组中进行打印结果。

2024-04-24 11:52:11 235

转载 Python项目之部署项目到服务器并启动项目

注释3:此处选择的"/root/lys/test"其中的/lys目录在服务器上并不存在,但是创建虚拟环境时会自动创建,所以需要保证该目录在服务器上的真实性,以免冲突。1.在Windows本地,进入pycharm,并打开对应的Python项目,在右下角依次点击: --> 添加新的解释器 --> SSH。注释2:“同步文件夹”为本地项目位置映射到服务器上的详细位置,默认位置为"/tem"目录,建议更改为自己单独的路径(后附示例图)

2024-04-19 15:50:54 466

原创 linux挂载目录扩容了但是还是显示原来的内存

扩展完磁盘后使用lsblk查看的结果变了而使用df -h结果大小却没变,这是因为前者查看的是磁盘的大小而后者查看的是文件系统的大小。resize2fs 命令 :针对的是ext2、ext3、ext4文件系统(例如:resize2fs /dev/mapper/centos-root)客户文件格式处理失败,查看内存,发现/data目录下内存使用lv到达99%,磁盘扩容500g成功后,文件系统大小还是没变化?(2)xfs类型文件系统重新定义大小要使用 xfs_growfs命令(注意文件系统名要与自己系统的一致)

2024-04-03 16:44:13 384

原创 判断当前设备是移动端还是pc端

首先,我们使用正则表达式匹配navigator.userAgent中是否包含iPhone、iPad、iPod、Android这些关键字,如果匹配成功,则说明当前是在移动端。因此,我们可以通过判断UA中的关键字来确定页面访问者的设备类型。需要注意的是,该方法并不100%准确,因为用户可以使用PC浏览器模拟手机UA,也有可能使用移动端浏览器访问PC网站(目前pc端测试模拟手机ua,一样显示手机端,是准确的)。目前后台配置已最佳比例显示,pc和移动端都受影响,现在就是需要是移动端才调api,pc端的话不动。

2024-03-28 17:14:00 526

原创 k8s常用命令大全

k8s

2024-03-08 18:39:21 9807

原创 创建卷组报错Can‘t open /dev/sdb exclusively. Mounted filesystem?

linux操作

2024-01-04 14:55:03 1365

原创 移动端获取ua头的值

成功的拿到了ua头的值了,亲测可行!

2023-11-20 18:00:06 1131

原创 客户环境PC访问速度正常,移动端慢Nginx问题

2.协议不同但是可以访问到,这个还有待观察,但是修改NGINX配置,也换成HTTPS的,并且添加证书后,访问正常了。1.中台服务配置都是HTTPS的协议,但是排查客户移动端访问的链接都是http的。

2023-11-07 18:40:13 1062

原创 mysql之通过表名来搜索库名

1、经常遇到查日志时候知道表名,但是不知道在哪个库下面,可以通过此sql语句查询。

2023-10-23 17:36:26 664

原创 linux环境下载文件

【代码】linux环境下载文件。

2023-08-07 14:56:45 289

原创 Linux下使用curl命令发送GET和POST请求

测试可行,后期需要可以照此发送你的请求。

2023-07-10 09:40:20 4634

原创 SpringBoot热部署

接下来就是按链接的来,如果你的idea没有update resource and classes的所有选项。不用急,老版本不需要此配置。可以使用双击shift,出现搜索框输入reg,进行选择registry。如果快捷键Ctrl+Shift+Alt+/,没有出现Registry。点了代码修改,发现控制台自动重新编辑了代码,重新启动了。我的也没有配置的地方。

2023-06-01 11:23:32 209

原创 Java保存MultipartFile至本地目录

【代码】Java保存MultipartFile至本地目录。

2023-05-31 17:03:25 3875 1

原创 本地搭建文档服务并提供下载地址供测试使用

这是使用下载的地址话,只需要在地址后面加文件名就可以供外网下载使用。

2023-05-30 16:54:24 207

原创 springCloud之配置文件中随机数的使用

springboot项目通过配置文件来实现随机数的使用;

2023-05-26 17:17:33 102

原创 java实现文件下载的几种方法

本文链接:https://blog.csdn.net/Boy_Martin/article/details/126058565。最终成功将文件下载下来了。

2023-05-26 14:32:02 6102

原创 Java修改JsonObject中的属性值

/字符串示例 {//处理结果 {

2023-05-25 14:57:46 2783

原创 linux查看服务端口命令大全

3、在终端窗口中输入cat/etc/services命令,回车后即可查看到服务器端口。1、打开linux系统,在linux的桌面的空白处右击。这两个命令都可以查看端口被什么进程占用。2、在d出的下拉选项里,点击打开终端。登录进来就是root权限。

2023-05-25 08:54:31 12234

原创 分布式的流处理平台Kafka

ApacheKafka 是一个分布式的流处理平台。支持消息的发布和订阅,类似于 RabbtMQ、ActiveMQ 等消息队列;支持数据实时处理;能保证消息的可靠性投递;支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错;高吞吐率,单 Broker 可以轻松处理数千个分区以及每秒百万级的消息量。

2023-04-28 10:48:58 828 1

原创 HBaseUtils2.0工具类

HBase数据库工具类的使用;

2023-04-28 10:22:39 112

原创 大数据之Hadoop分布式数据仓库HBase

HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。HBase 是一种类似于 Google’s Big Table 的数据模型,它是 Hadoop 生态系统的一部分,它将数据存储在 HDFS 上,客户端可以通过 HBase 实现对 HDFS 上数据的随机访问。不支持复杂的事务,只支持行级事务,即单行数据的读写都是原子性的;由于是采用 HDFS 作为底层存储,所以和 HDFS 一样,支持结构化、半结构化和非结构化的存储;支持通过增加机器进行横向扩展;支持数据分片;

2023-04-28 10:20:25 2157

原创 HBaseUtils1.0工具类

【代码】HBaseUtils工具类。

2023-04-28 09:45:21 99

原创 Hive与HBase的区别及应用场景

在学大数据分析的过程中,Hive和HBase是两个非常重要的内容,对于初学者而言容易混淆。所以比较两者区别,能够帮助我们对这两个组件有一个清晰的认识和定位。那么,Hive和HBase有哪些区别以及应用场景呢?Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,默认情况下可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。

2023-04-28 09:02:22 1188

原创 大数据之Hadoop数据仓库Hive

Hive 是一个构建在 Hadoop 之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类 SQL 查询功能,用于查询的 SQL 语句会被转化为 MapReduce 作业,然后提交到 Hadoop 上运行。简单、容易上手 (提供了类似 sql 的查询语言 hql),使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析;灵活性高,可以自定义用户函数 (UDF) 和存储格式;为超大的数据集设计的计算和存储能力,集群扩展容易;

2023-04-27 17:27:03 1931 1

原创 任务调度框架Azkaban Flow1.0和Azkaban Flow2.0

Azkaban 主要通过界面上传配置文件来进行任务的调度。Job: 你需要执行的调度任务;Flow:一个获取多个 Job 及它们之间的依赖关系所组成的图表叫做 Flow。目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0。Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用 Flow 2.0,因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。

2023-04-27 15:24:22 714

原创 大数据之Hadoop集群资源管理器YARN

Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上,由 YARN 进行统一地管理和资源分配。

2023-04-27 11:22:51 819

原创 大数据之Hadoop分布式计算框架MapReduce

Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。MapReduce 作业通过将输入的数据集拆分为独立的块,这些块由 map 以并行的方式处理,框架对 map的输出进行排序,然后输入到reduce 中。MapReduce 框架专门用于 键值对处理,它将作业的输入视为一组 对,并生成一组 对作为输出。

2023-04-27 10:45:58 1309

原创 HDFS分布式文件存储系统工具类

【代码】HDFS分布式文件存储系统工具类。

2023-04-27 08:56:06 177

原创 大数据之Hadoop分布式文件系统HDFS

HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。读数据原理图:Hadoop的三大组件:HDFS(分布式存储系统),YARN(资源管理器),MapReduce(分布式计算算框架)。Hadoop的安装和配置后自带三大组件参考链接。

2023-04-26 17:16:16 446

原创 大数据之入门开发流程介绍

分布式文件系统完美地解决了海量数据存储的问题,但是一个优秀的数据存储系统需要同时考虑数据存储和访问两方面的问题,比如你希望能够对数据进行随机访问,这是传统的关系型数据库所擅长的,但却不是分布式文件系统所擅长的,那么有没有一种存储方案能够同时兼具分布式文件系统和关系型数据库的优点,基于这种需求,就产生了 HBase、MongoDB。流处理:对运动中的数据进行处理,即在接收数据的同时就对其进行处理,对应的处理框架有 Storm、Spark Streaming、Flink Streaming 等。

2023-04-26 16:21:48 1743

原创 基于Jwt实现身份认证token和刷新refreToken

实现用户无感知的刷新token值,这里需要改造登录的方法,返回我们两个token,一个身份token和一个刷新token,当身份token有效期过期时,我们判断刷新token是否过期,没有过期则携带刷新token请求接口生成新的身份token,拿到最新的token值后再重新发起刚刚因token过期的请求。一般都是在登录成功后调用这个生成token的方法,并返回给前端(登录方法略,自行实现)。登录后后台接口返回值要求:必须提供刷新token的令牌(接口方法自行实现略)

2023-04-25 16:40:32 676

原创 SpringBoot中一个注解优雅实现重试Retry框架

重试,在项目需求中是非常常见的,例如遇到网络波动等,要求某个接口或者是方法可以最多/最少调用几次;实现重试机制,非得用Retry这个重试框架吗?那肯定不是,相信很多伙伴手写一下控制流程的逻辑也可以达到重试的目的。那么用Retry的好处是什么?简单来说,就是优雅。Retry重试框架,支持AOP切入的方式使用,而且能使用注解;想想,重试次数、重试延迟、重试触发条件、重试的回调方法等等我们都能很轻松结合注解以一种类似配置参数的方式去实现,优雅无疑。

2023-04-25 11:36:08 481

原创 ES6中的扩展运算符(三个点)的多种用途

真名叫扩展运算符,是在ES6中新增加的内容,它可以在函数调用/数组构造时,将数组表达式或者string在语法层面展开;还可以在构造字面量对象时将对象表达式按照key-value的方式展开。字面量一般指[1,2,3]或者{name:‘chuichui’}这种简洁的构造方式,多层嵌套的数组和对象三个点就无能为力了。说白了就是把衣服脱了,不管是大括号([])、花括号({}),统统不在话下,全部脱掉脱掉!当我们想把数组中的元素迭代为函数参数时,用它!

2023-04-25 11:07:50 181

操作手册用于程序员快速开发

操作手册用于程序员快速开发

2022-02-08

用于测试的工具soap.zip

测试webservice接口工具

2021-07-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除