Dr.Zhu-CSDN博客

原创 Streamsets运行在国产化银河麒麟服务器

Streamsets的版本为3.16.0 离线版国产化服务器：银河麒麟 ky10国产化服务器架构：aarch64|arm64国产化服务器操作系统类型：加密版和非加密版加密版：三员管理，root为阉割的用户权限，非最高权限用户，安装软件使用指定软件安装，且需要安全审计员审核。无法安装docker，也不能使用tar包方式部署。可将StreamSets打包为rpm包部署。非加密版：可安装docker，打一个arm版本的StreamSets镜像部署。

2024-08-28 18:30:00 547

原创 aspose-words将tinymce中的换页符转换为word的换页符

tingymce的分页符对应的html源码为：``

2024-08-23 10:27:03 363

原创 aspose-words在指定位置添加ole附件并指定默认打开方式

aspose-words版本：21.1java：1.8。

2024-08-20 19:16:04 548

原创 aspose-words中插入附件及遇到的问题

前端使用tinymce编辑一段内容，后端使用aspose-words将html转为word，并将html中的附件转换为word中的附件。使用正则表达式找出需要替换的附件位置，然后再使用aspose-words替换为附件。使用2.3K大小的ico，操作成功并正常显示。aspose-words版本：21.1。

2024-08-19 19:10:43 540

原创 Streamsets-JDBC模式offset变化逻辑和如何向下传递offset

默认情况下，Streamsets使用文件对管道的offset进行持久化，地址在Streamsets的数据目录下，系统路径中找到数据路径。数据存在的格式为：/{dataDir}/runInfo/{pipelineId}/{version:0}/offset.json注意：源、处理器和目标不是完全独立的，目标没有结束不会更新offset。

2024-06-03 18:06:42 606

原创 Streamsets-JDBC模式使用更新时间字段数据同步

JDBC模式的增量模式只支持新增的数据和不需要修改的数据，且官方建议的offsetColumn为PrimaryKey，如：ID。这样支持的场景为不断的增量数据，无法捕获数据的更新。但是正常的业务系统一般不存在只新增不更新的场景。全量同步模式每次加载所有的数据，当表的数据量较大时，同步所需的时间和延迟不能接受。在配置管道时将OffsetColumn指定为update_time，业务系统使用mybatis-plus在数据新增和更新时补充创建时间和更新时间。数据库的时间精度为秒。

2024-06-01 22:00:00 428

原创 mybatis-plus拦截器插件自动切分IN查询参数

使用oracle作为数据源时，当IN查询的参数超过1000时，jdbc会报错：'ORA-01795: maximum number of expressions in a list is 1000 error'**实现原理：**使用mybatis-plus拦截sql的插件，对sql进行切分，将IN查询参数超过1000的sql语句切分为1000条一组的查询条件。t.field IN (?,?,?,?,?) => t.field IN (?,?) OR t.field IN (?,?,?)

2024-05-15 08:56:48 417

原创 Cassandra之集群缩容

Cassandra版本：3.11节点数调整：视情况逐个缩减写在前面：1.cassandra缩容方案的原理是利用nodetool decommission 命令将待缩容的节点的数据拷贝到集群内其他节点。2.nodetool decommision执行期间会占用默认200Mbps带宽，缩容时应计算初始服务器带宽占用情况，结合服务器总带宽，合理设置streamthroughput。计算方式：假定服务器带宽上下行均为300Mbps，当前峰值带宽占用量为60Mbps，所以非回收节点支持的最大写入量为240

2022-03-19 17:49:01 923 1

原创 VMware安装Centos7 NAT模式搭建集群

前言此次为本人的操作记录，如遇问题，请自行百度或留言虚拟机搭建集群的目标：物理机能通过xshell连接虚拟机，虚拟机之间能够互相通信且可联网下载软件。相关文件和参考地址VMware15版本号：版权原因，自行下载：VMware-workstation-full-15.5.0-14665864.exe软件序列号：UG5J2-0ME12-M89WY-NPWXX-WQH88Centos7镜像下载，版权原因，自行下载(CentOS-7-x86_64-DVD-2009.iso).建议先读：[虚拟机的四种网

2022-03-18 17:03:07 456 1

原创 VMware搭建Centos集群

虚拟机搭建集群的目标：物理机能通过xshell连接虚拟机，虚拟机之间能够互相通信且可联网下载软件。相关文件和参考地址VMware15下载地址.软件序列号：UG5J2-0ME12-M89WY-NPWXX-WQH88Centos7镜像下载地址.建议先读：虚拟机的四种网络方式区别.安装VMware15安装VMware时正常下一步安装，需要注意一下安装路径和软件序列号。安装Centos镜像我们要搭建集群，节点之间配置和环境相同，安装一个为例，

2022-03-18 16:05:36 43

原创 python脚本检测备忘-队列queue logging mysql连接池多线程 redis集群 countdownlatch python数组按照对象字段排序追加写文件格式化时间

队列queue logging mysql连接池多线程 redis集群 countdownlatch python数组按照对象字段排序追加写文件格式化时间

2021-10-27 18:32:21 326

原创 python 主线程读取数据写入队列，多线程消费队列数据

备忘记录主线程读取数据写入队列，多线程消费队列数据。# -*- coding: UTF-8 -*-# !/usr/bin/python3import loggingimport queueimport threadingimport timeimport pymysqlfrom dbutils.pooled_db import PooledDB###############参数配置######################host = "host"port = 3306db

2021-09-16 10:58:11 1006

原创 alibaba.dubbo-2.8.3升级到apache.dubbo-2.7.4.1报Failed to start bean ‘eurekaAutoServiceRegistration‘

alibaba.dubbo-2.8.3升级到apache.dubbo-2.7.4报Failed to start bean 'eurekaAutoServiceRegistration'

2020-11-17 10:42:19 592

原创 python脚本scrollId search查询并导出elasticsearch所有数据

ElasticSearch version:6.2.2#!/usr/bin/python#coding:utf-8import jsonimport osimport sysimport timeimport urllib2import urllibreload(sys)sys.setdefaultencoding('utf-8')class exportEsData(): scroll_id = '' def __init__(self, url,index,t

2020-11-09 11:25:34 602

原创 Cassandra Batch Opearte

Cassandra的批处理操作单个分区和多个分区的批处理操作可以保证原子性，一般用于多个表之间协同操作处理。单分区自动支持原子性，但是针对多分区需要引入batchlog来保证多个分区之间的原子性。批处理操作可以节省客户端和服务器之间的网络往返，但应考虑实际的应用场景。批量写入并不能提升性能，相反可能会使性能更差。Batching can be effective for single partition write operations. Butbatches are often mistake

2020-08-05 14:51:15 385

原创 ElasticSearch DSL小记之Nested Query + Nested Aggregation + Reverse Nested

ElasticSearch Version:6.2.2Nested AggregationA special single bucket aggregation that enables aggregating nested documents.一种特殊的单桶聚合，可聚合嵌套文档。Reverse nested AggregationA special single bucket aggregation that enables aggregating on parent docs from ne

2020-05-11 14:06:49 747

原创 mongoTemplate异常之 you can't add a second 'null' criteria.

错误代码：Query query = new Query();Criteria c = new Criteria();c.andOperator(new Criteria("name").is('zhangsan'),new Criteria("name").ne('lisi')); query.addCriteria(c);if (StringUtils.isNotEmpty

2017-11-30 19:20:13 7888 1

原创 MongoDB-MongoTemplate之模糊匹配多个字段

查询的字段是value，需要对多个字段进行模糊匹配。Pattern pattern =Pattern.compile("^.*" + value + ".*$",Pattern.CASE_INSENSITIVE);Criteria criteria = new Criteria(); criteria.orOperator(Criteria.where("value").is(pa

2017-10-11 10:40:40 7488

原创【解决】SpringMVC整合Shiro之 Error creating bean with name 'shiroFilter' defined in class path resource...

整合shiro之前程序正常启动，但是整合完之后出现问题，原因就是在项目启动加载web.xml的时候，<context-param>的执行顺序是在<servlet>之前的，但是呢，加载注入UserRealm的时候，再次注入UserService就会出现注入失败的情况，原因就是开启注解，扫描包的配置写在spring_mvc.xml中，也就是说我们在访问一个我们还没有注入到Spring容器的bean。所以出现异常

2017-08-29 15:56:48 73911 3

原创【工具】Spring中获取properties参数&解决中文乱码

工具类代码：package com.guide.util;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.*;import java.util.HashMap;import java.util.Properties;/** * Desc:properties文件获取工具类 * */public

2017-08-08 16:38:29 2803

原创【解决】jsPDF之长图片生成PDF（分页，失真）

为了减轻后端压力，尽量在前端页面实现，同时减轻服务器负载。上接：http://blog.csdn.net/zt_fucker/article/details/76583032版本：jsPDF.js 1.3.2在获取到页面截取的base64位的长长图片之后，添加到pdf中。 $("#downpdf").on("click", function() { //获取

2017-08-02 16:51:24 22688 7

原创【解决】html2canvas.js截图只截取当前可视区域

前面写过Echarts图表生成PDF文件http://blog.csdn.net/zt_fucker/article/details/71601362只是一个简单的demo示例，包含图片和文字，然后最近需求则是大范围的文字和ajax动态获取的嵌套数据。版本：html2canvas 0.4.1.原页面代码非常复杂，无法完全还原代码。页面代码中涉及到了iframe、easyUI，tab标签原因：当时使用

2017-08-02 16:22:47 28395 10

原创【微信】未关注公众号授权获取基本信息（头像昵称等）

引导用户点击设计好的链接，形如：https://open.weixin.qq.com/connect/oauth2/authorize?appid=wx9a3d0c9c3170978c&redirect_uri=http%3a%2f%2fwx.dizaozhe.cc%2fwechatconfig%2fdesc&response_type=code&scope=snsapi_userinfo&stat

2017-07-19 14:36:01 25104 6

原创【解决】微信6.5.5版本后转发朋友、分享朋友圈不能显示缩略图

经过测试发现，微信版本在6.5.3之前的时候，页面转发是可以显示body中第一张符合标准的img图片，主标题取的title，副标题取的是当前的链接。但是当微信升级之后，逐渐取消了这一功能准备阶段： ①已备案的域名 ②已认证的服务号 ③JS接口安全域名成功设置一定要仔细看，一定要仔细看，一定要仔细看重要事情说三遍我因为没有注意分享的自定义链接也为授权域名，导致一直不能达到想要的结果。前期准

2017-07-17 11:03:55 6392 2

原创【工具】去除字符串中的特殊字符

代码如下： public String HandleData(String str){ String regEx="[`~!@#$%^&*()+=|{}':;',\\[\\].<>/?~！@#￥%……&*（）——+|{}【】‘；：”“’。，、？]"; Pattern p = Pattern.compile(regEx); Matcher m =

2017-07-13 17:21:06 2137

原创【异常】Tomcat启动异常之Unsupported major.minor version 51.0

起因：在本地eclipse开发完之后，部署到Linux环境下，出现问题。原因：jdk版本过低解决办法： ①修改Linux服务器的java版本 ②在Tomcat配置文件中设置指定的java版本。

2017-07-13 16:07:48 592

原创【扩展】Freemarker模板遍历集合实现下载word部分文字隐藏

书接前几篇http://blog.csdn.net/zt_fucker/article/details/51836851 实现比较简单的下载目的：遍历输出下载word，但是有一部分是隐藏显示的：形如：姓名（NAME）[其中括号内是需要隐藏的部分] 张三解决办法：找到ftl模板，找到并编辑相关代码如下：前期准备：把NAME和姓名之间用@分隔符隔开形如：姓名@NAME… <#list ms

2017-07-12 18:28:33 781

原创【异常】SSM+Redis缓存@Cacheable之java.lang.ClassCastException等

在整合redis的时候使用注解配置缓存策略的时候出现下述错误。java.lang.ClassCastException: com.guide.pojo.TUser cannot be cast to java.lang.String原因是返回值为对象，而不是默认的字符串类型。强转出现错误，抛出异常。解决办法：配置文件中在RedisTemplate中注入序列化等属性。<bean id="redis

2017-07-05 12:42:10 5800

原创【异常】SSM整合quartz之org.quartz.impl.JobDetailImpl----ClassNotFoundException

书接：【扩展】SSM之配置quartz定时器http://blog.csdn.net/zt_fucker/article/details/73849280此次配置环境为：Spring4.0.0+Quartz1.8.6 其中：  <bean id="doTimeForToken" class="org.springframework.scheduling.

2017-07-04 16:10:42 4487

原创【扩展】SSM之配置quartz定时器

检查pom中quartz依赖：<dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>1.8.6</version></dependency>src/main/resources中添加spring_quartz.xml

2017-06-28 16:05:57 2260 1

原创【增强】（注解）SSM之配置多数据源

上篇是非注解的形式，每次切换数据源比较麻烦，于是就有了注解篇。非注解地址：http://blog.csdn.net/zt_fucker/article/details/73848742首先随便打开一个注解的源码：@Service为例import java.lang.annotation.Documented;import java.lang.annotation.ElementType;im

2017-06-28 15:58:26 2287

原创【增强】（非注解）SSM之配置多数据源

SSM单数据源的话，默认的数据源是DruidDataSource中指定数据源； <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="driverClassNam

2017-06-28 15:29:40 2183 1

原创【yum】之Another app is currently holding the yum lock; waiting for it to exit...

问题：使用yum的时候提示其他应用占用yum，导致yum被锁。Loaded plugins: fastestmirror, langpacksRepodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fastExisting lock /var/run/yum.pid: another copy is runni

2017-06-21 14:51:59 1790 1

原创 VMWare11-虚拟机Centos7镜像配置静态&动态IP地址&VmWare简易安装镜像之ROOT密码

Centos7 下载镜像地址：http://mirrors.163.com/centos/7.1.1503/isos/x86_64/CentOS-7-x86_64-DVD-1503-01.iso VMWare安装虚拟机，不再赘述。需要标记的是连接方式桥接还是NAT；birdged（桥接）桥接网络是指本地物理网卡和虚拟网卡通过VMnet0虚拟交换机进行桥接，物理网卡和虚拟网卡在拓扑图上处于同等地位，

2017-06-21 12:59:33 1027

原创 SSH关闭远程密码登录---Window&Linux客户端证书登录&window找不到ssh-keygen

前几天我阿里云的服务器被暴力破解，很是不爽，于是搞了这个key证书免密码登录。首先在阿里云的ECS服务器内检查是否安装sshd 获取秘钥：如果没看前面的git上传github的文章。依次键入：[root@iz2ze8w7169ei61c5c1il5z ~]# vi /etc/ssh/sshd_config修改为：PasswordAuthentication no此时先设置为yes，等设置完客

2017-06-20 12:51:29 1941

原创【git】阿里云上传代码到github附SSH-KEY免密码上传&更新github代码到本地

远程连接阿里云服务器，确保安全组内ssh端口打开（如果更改ssh连接端口的话），按照下面代码依次敲root用户下登录[root@iz2ze8w7169ei61c5c1il5z /]cd ~[root@iz2ze8w7169ei61c5c1il5z ~]mkdir git-demo[root@iz2ze8w7169ei61c5c1il5z ~]cd git-demo[root@iz2ze8w7

2017-06-19 12:40:47 1263

原创【异常】阿里云 git用户被黑客攻击&【This account is currently not available.】

昨晚凌晨三点阿里云服务器被黑客攻击，今早来公司查看得知昨天在github上上传代码的时候被黑客攻击（没有使用公司内的网络，使用家中的网络可能是被攻击的关键所在），被黑的用户名是“git”用户，密码特别简单（passwd=‘git’），但是我特别好奇，我在配置文件中添加了禁止远程登录代码，我自己都不能通过xshell来进行远程登录，黑客们是怎样暴力破解并进行远程登录的呢？厉害了我滴哥。This ac

2017-06-19 10:24:15 1602

原创 Linux Centos7.2下安装nodejs&npm配置全局路径

首先登陆官网：https://nodejs.org/en/安装之前检测是否装了gccgcc-c++python 2.7+没有的话yum install 下载完成之后上传到Linux： rz 没有rz sz的话安装一下（yum -y install lrzsz）然后依次执行：cd /usr/localmkdir nodejs6cd nodejs6rz ------ 选择nodejs

2017-06-12 12:01:13 17311

原创【异常】阿里云ECS之yum源"Name or service not known"&安装MySQL

使用yum安装mysql的时候出现；阿里云自带的yum源添加新的源之后出现问题，删掉新加的源之后还是报错。http://mirrors.cloud.aliyuncs.com/epel/7/x86_64/repodata/repomd.xml: [Errno 14] curl#6 - "Could not resolve host: mirrors.cloud.aliyuncs.com; Na

2017-06-12 10:48:35 13042

原创【异常】阿里云ECS之Centos7下载文件出现”wget: unable to resolve host address”

[root@iz2ze8w7169ei61c5c1il5z yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo--2017-06-07 21:35:07-- http://mirrors.aliyun.com/repo/Centos-7.repo

2017-06-07 21:45:39 17819 5

zabbix-templates-cassandra-export.xml

空空如也