- 博客(35)
- 资源 (8)
- 收藏
- 关注
原创 tidb迁移工具DM测试-数据追加增量
环境部署IP安装文档msyql192.168.138.1315.7tidb单机多节点192.168.138.135https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidbdm工具192.168.138.135https://docs.pingcap.com/zh/tidb-data-migration/stable/deploy-a-dm-cluster-using-tiup初始化
2021-02-08 11:25:29
980
5
原创 mysql :show processlist常用方法
最近经常用到 show processlist,所以在这里把这个命令总结一下,做个备忘,以备不时只需。首先是几条常用的SQL。查询线程及相关信息如果是root帐号,能看到所有用户的当前连接。如果是其他普通帐号,则只能看到自己占用的连接。showprocesslist只能列出当前100条。如果想全部列出,可以使用SHOW FULL PROCESSLIST命令show full processlist各个列的含义:①.id列,用户登录mysql时,系统分配的"connection_id",可以
2020-12-29 17:32:40
451
原创 haporxy+keepalived实现负载均衡+高可用
环境准备主机规划服务器IP主机名服务centos7x2(haproxy01)192.168.138.132centos7x2Haproxy、Nginx、keepalivedcentos7x3(haproxy02)192.168.138.133centos7x3Haproxy、Nginx、keepalived192.168.138.200(vip)其中haproxy负责负债均衡,nginx单纯作为web服务hosts文件解析[root@cen
2020-12-26 22:41:05
404
1
原创 azkaban on kubernetes部署方式 多执行节点支持自动伸缩
使用编译好的azkaban 3.84.4版本建立镜像,镜像通过args参数控制启动exe还是webazkaban的配置文件和用户文件引入configmap,方便修改配置默认建立1个mysql,1个exe执行节点,1个web节点exe节点可以自动激活和反激活,方便进行伸缩管理密码存入secret文件因为我的k8s是单node环境,所以mysql服务的地址直接使用了service-name限于篇幅,代码这里就不贴了,请移步github查看https://github.com/justong86.
2020-08-07 11:09:17
962
原创 azkaban多节点部署安装记录
环境准备jdk8+mysql节点划分centosx1centosx2centosx3web-serverexe-serverexe-servermysql这里编辑了hosts文件,关闭了selinux和firewalld[root@centos7x3 azkaban-exec-server]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localho
2020-06-27 15:50:38
2680
原创 micropython实现ntp获取网络时间(UTC+8)
先吐槽micropython的官方文档。很多东西压根就没交代,比如这里用到的ntptime库,其实是很方便的,但只是在《Quick reference for the ESP8266》里出现到了一次。先说直接获得本地时间(东八区UTC+8)用法,只需要两三行:import ntptimedef sync_ntp(): ntptime.NTP_DELTA = 3155644800 # 可选 UTC+8偏移时间(秒),不设置就是UTC0 ntptime.host = 'ntp1.a
2020-05-20 16:32:54
8695
3
原创 Django内联模型InlineModelAdmin学习
InlineModelAdmin类的作用在于,可以在Model A页面上编辑Model B表的字段,这只需要A和B存在外键关系。他有两个子类,区别仅仅在于使用的(前端显示)模板不同,一个垂直一个水平排序字段,使用时要直接使用这两个子类。class TabularInline (水平,类表格式)class StackedInline (垂直)举个栗子models设定:fro...
2020-04-17 15:27:55
2630
1
原创 用递归来实现python版本的任意进制转换(2-36进制)
思路同样是先转到10进制,再从10进制转到其他进制。不过好像有个错误,自己测试还没有发现,欢迎指点。convertString = "0123456789ABCDEFGHIJKLMNOPQRSTUVWSYZ"def tenToStr(x, base): if x < base: return convertString[x] else: ...
2020-04-13 23:18:07
1371
原创 datatables插件的使用记录——serverSide服务器模式
简述先来看看datatables官方对于服务器模式的解释默认情况下DataTables使用客户端处理模式,但是可以通配置让切换到服务器端处理模式。 当处理大量数据的时候(如超过50000条记录)服务器端处理模式就十分有用。这种情况下可以使用数据库来进行排序操作。 现代的数据库都针对这样的处理进行了优化,使用这样的方式能够让DataTables轻松应付几万条的记录排序、过滤。使用服务器端处理...
2020-04-11 16:51:13
3100
原创 datatables插件的使用记录——顶部按钮及传值
上一次记录了行内按钮的使用方法。这一篇用来记录顶部按钮的用法。先来效果图下边贴代码非重点部分就不说明了。<script> var td = $('#table_id_example'); $(document).ready(function () { td.dataTable({ dom:...
2020-04-01 12:01:25
270
原创 datatables插件的使用记录——行内按钮及传值
这里的环境是python的Django框架,而由于本人前端水平很渣渣,Datatables这个插件用起来方便。但是时间一长就忘了怎么用了,这里做记录。先看效果datatables多于的部分这里就不贴出来,只看重点。$(document).ready(function () { ttd = $('#table_id_example').dataTable({ ...
2020-03-31 17:09:05
849
原创 python中获取某个月有多少天的方法
>>> import calendar>>> calendar.monthrange(2010,10)[1]31>>> calendar.monthrange(2020,3)(6, 31)其实这种方法随便一搜一大把,我看到的全都是使用calendar.monthrange这个方法,返回一个元祖,第一个值代表该月第一天是周几,第二个参...
2020-03-25 10:47:30
10479
2
原创 MQTT协议Centos7下安装mosquitto及简单使用
MQTT和Mosquitto背景Mosquitto是一个开源(BSD许可证)的消息代理,实现MQTT(消息队列遥测传输)协议版本3.1。MQTT(MQ Telemetry Transport),消息队列遥测传输协议,轻量级的发布/订阅协议,适用于一些条件比较苛刻的环境,进行低带宽、不可靠或间歇性的通信。值得一提的是mqtt提供三种不同质量的消息服务:Qos0:“至多一次”,消息发布完全依赖底...
2020-02-19 17:48:44
1336
原创 Nginx负载均衡+tomcat简单集群(第三方Redis方案共享session)
nginx+tomcat+redis本篇继《 Nginx负载均衡+tomcat简单集群(DeltaManager自带共享session)》之后,由自带的cluster更换为第三方redis方案。https://blog.csdn.net/zld_555/article/details/103972197准备工作虚拟机Centos7X4Centos7X5IP172.1...
2020-01-15 16:15:12
336
1
原创 Nginx负载均衡+tomcat简单集群(DeltaManager自带共享session)
部署tomcat集群,要解决的一个但问题就是session共享问题。本实验采用tomcat自带的cluster集群方案。此方案优点就是部署简单,只需要常用的nginx,没有额外依赖。缺点是session在集群中是通过组播复制的方式,即每个tomcat都保存了整个集群的session状态,如果访问量大了,会给服务带来额外的开销的负担,也给交换网络带来一定压力。首先,万事以官方文档为基准。h...
2020-01-14 14:32:41
247
原创 centos脚本安装tomcat,加入apr启动,附日志分割
最近实验tomcat集群,顺便整理了一下之前的tomcat的安装脚本,适合centos安装使用。集成了apr启动模式。脚本跑完,apr应该就可以生效了。再加上一个cronolog日志分割的小脚本单独放在最后,没有合并在一起。#!/bin/bash#Auto install Apache Tomcat8.5.39#需要的包:jdk-8u201-linux-x64.tar.gz,apache...
2020-01-13 15:13:31
155
原创 sqoop 的job使用方式及密码保存
sqoop 的job使用方式基本使用说明job参数说明功能简单明了。ArgumentDescription--create <job-id>Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...
2019-12-20 16:41:13
2482
原创 sqoop1.4.7安装和操作
前提概述官网http://sqoop.apache.org/将来sqoop在使用的时候有可能会跟那些系统或者组件打交道?HDFS, MapReduce, YARN, ZooKeeper, Hive, HBase, MySQLsqoop1就是一个工具, 只需要在一个节点上进行安装即可。如果sqoop要跟hive交互,那么sqoop节点机器一定要有hive系统。版本sqoop1和sqoop...
2019-12-20 10:12:54
404
原创 《快学Scala》第五章 学习笔记+练习题答案
1.改进Counter类,让它不要在大于Int.maxValue时变为负数class Counter { private var value = 0 def increment() =if (value<Int.MaxValue) value += 1 def current = value}2.写一个BankAccount类,加入deposit和withdraw方法,和...
2019-12-11 13:19:27
291
原创 《快学Scala》第三章 学习笔记+练习题答案
《快学Scala》学习笔记+练习题答案##第三章 数组相关操作3.1编写一段代码,将a设置为一个n个随机整数的数组,要求随机数介于0(包含) 和n(不包含)之间。import collection.mutable.ArrayBufferimport scala.util.Randomdef createArray(n:Int):Array[Int]={ for(i <- 1 ...
2019-12-07 15:27:41
379
原创 nginx location匹配规则
location匹配顺序"="前缀指令匹配,如果匹配成功,则停止其他匹配 普通字符串指令匹配,顺序是从长到短,匹配成功的location如果使用^~,则停止其他匹配(正则匹配) 正则表达式指令匹配,按照配置文件里的顺序,成功就停止其他匹配 如果第三步中有匹配成功,则使用该结果,否则使用第二步结果注意点 匹配的顺序是先匹配普通字符串,然后再匹配正则表达式。另外普通字符串匹配顺序是根...
2019-11-30 15:48:15
120
原创 把用户加入到supergroup组来访问HDFS
本机是linux系统,使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。比较简单的解决粗暴方式是把用户加入到supergroup组。Hadoop本身的用户和组的关系,是同步Linux系统中的用户权限,但是HDFS和Linux的超级用户组又有一点差别,HDFS中的超级用户组是supergroup,但是Linux中默认是没有supergoup这个组,这个时候...
2019-11-23 15:08:57
1735
原创 CDH6.3中HUE的配置,集成mysql,hive,hbase,spark,sparksql,pyspark
CDH集成环境里开启hue组件,只需要在《hue_safety_valve.ini 的 Hue 服务高级配置代码段(安全阀)》里写入配置文件即可正常工作,然后按照需要的服务,安装服务。最终看起来很是挺轻松的,但是详细的说明教程还真是多,再加上版本问题。参考各位大佬的教程,对照官方文档(给差评)整理记录。集成hive服务hive服务里开启hiveserver2服务hue配置里声明服务地址...
2019-11-22 14:23:22
3732
5
原创 Hive3.1.2安装及Hive与HBase的结合使用
Hive3.1.2安装及Hive与HBase的结合使用一、说明安装包:apache-hive-3.1.2-bin.tar.gz二、前期准备1、mysql 5.7创建用户 hivemysql > grant all privileges on *.* to 'hive'@'%' identified by '123456'; 2、其他环境Zookeeper:zookeeper...
2019-11-09 11:02:19
1694
原创 centos7(6)脚本安装python3.7环境(含ssl和pip)
最近想在集群跑pyspark,需要每台机器配置python3环境.众所周知,centos的openssl版本太低,装py3.7最好先解决ssl问题,装起来挺费时间的.所以写个简易脚本方便安装.#!/bin/bash# 请确保openssl-1.1.1d.tar.gz,Python-3.7.5.tgz的tar.gz包存放在当前目录下echo "请确保openssl-1.1.1d.tar.gz...
2019-10-22 15:50:49
234
原创 hadoop分布式集群&spark on yarn集群安装配置
hadoop&spark on yarn安装配置一 环境准备3台 linux版本centos7.6hadoop版本3.1.2spark版本2.4.41.1 修改IPvim /etc/sysconfig/network-scripts/ifcfg-ens32DEVICE="ens32"ONBOOT="yes"IPADDR="192.168.22.232"PREFIX=...
2019-09-28 17:22:19
866
原创 在hadoop HA集群跑mapreduce任务出错
环境centos7.5jdk=1.8hadoop=3.1.2zookeeper=3.4.14用zookeeper来协调yarn,跑hadoop自带的示例wordcount任务出错,日志如下.2019-09-24 15:56:59,482 INFO [IPC Server listener on 24576] org.apache.hadoop.ipc.Server: Stopping ...
2019-09-24 16:48:20
777
原创 mysql利用binlog2sql批量回滚数据(快速闪回)
感谢mysql原生自带mysqlbinlog,但使用binlog恢复的原理是“重做”而不是“回滚”。网上相当多的文章描述mysqlbinlog用法的时候,并没有进行完整说明(先使用完整备份恢复数据库至最近备份时间点,再利用binlog恢复上次备份到现在的剩余数据)。如果线上环境着急“回滚”,哪有时间去暂停业务,恢复备份,并学习binlog,结果很可能就是乱上加乱。因此,借助处理一起误删除的事故,...
2019-09-23 15:43:39
933
转载 Django之logging日志(转)
Django开发的使用print来输出很舒服,要是在生成环境或者uwsgi下,使用print就是失效了。python自带的logging模块就派上用场,想好好的配置项目还挺多,找到一篇现成的,收藏下来。Django使用python自带的logging 作为日志打印工具。1. 简单介绍下logging。logging 是线程安全的,其主要由4部分组成:Logger 用户使用的直接接...
2019-07-20 16:20:13
126
原创 使用脚本定时重启tomcat启动报错
问题:由于生产需要定时启动tomcat保证业务运行,于是写了shell脚本来重启,并加入到crontab定时任务。测试都没问题,只有一个项目的tomcat总是启动失败。分析:用netstat -nptl查看端口,8080端口没有启动,8005和8009是起来的。到/var/log/cron 里查看,定时任务有执行。到tomcat/log/catalina2019-06-04.l...
2019-06-04 17:16:21
448
原创 基于confluent的kafka和kafka-rest代理配置
基于confluent的kafka和kafka-rest代理配置一、组件及说明(一)Confluent的组件简介Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。Confluent Kafka Connectors(开源)。数据进出kafka,连...
2019-05-21 10:15:33
4767
原创 docker(docker-compose)安装部署gitlab并使用iredmail发送邮件
使用docker来部署确实是比较简单的事情,只是在使用自建的iredmail发送邮件的时候,找不到连接方法。折腾了有一天时间,终于找到了合适的SMTP参数,以此作为笔记,给自己也给需要的人留下记录。重点在于gitlab_rails[‘smtp_enable_starttls_auto’] = truegitlab_rails[‘smtp_tls’] = falsegitlab_rail...
2019-04-30 09:51:29
1344
原创 CentOS6CentOS7二进制安装MYSQL5.7,修改默认密码
1、可自定义输入ROOT密码(发现从mysql的log-error日志里不见得能记录初始化密码,因此把输出文本保存下来/root/mysql-install.log,后期从中读取);2、检查CentOS7自带的mariadb并卸载;3、使用YUM安装了一个依赖,yum -y install numactl;4、my.cnf位置放在/usr/local/mysql/my.cnf,(配置文...
2019-04-20 11:28:56
445
原创 CentOS6.10下RPM包安装mysql
1.首先卸载系统自带的mysql相关查看[root@centos6X1 ~]# rpm -qa |grep mysqlmysql-libs-5.1.73-8.el6_8.x86_64卸载[root@centos6X1 ~]# rpm -e mysql-libs-5.1.73-8.el6_8.x86_64--nodeps ##加--nodeps忽略依赖2.到...
2019-03-26 16:56:15
554
转载 Nginx负载均衡配置说明及简单配置
Nginx负载均衡配置,,转发自:https://blog.51cto.com/13178102/2063271以下为看到的Nginx负载均衡配置的简单介绍及配置,写的不错转发一下以作备忘。第1章 负载均衡介绍1.1 负载均衡和反向代理的区别严格的说,Nginx仅仅是作为Nginx Proxy反向代理使用的。普通的负载均衡软件,例如LVS,其实现的功能只是对请求数据包的转发(也可能...
2019-02-25 16:23:52
467
MQTT客户端(32和64位)org.eclipse.paho.ui.app-1.1.1-win32.rar
2020-02-27
简单的war包,可以用于tomcat实验等
2020-01-14
VMRC-VMware Remote Console 10.0.4 for Mac
2019-04-21
VMRC-VMware Remote Console 10.0.4 for Windows
2019-04-21
VMware Remote Console 10.0.4 for Linux
2019-04-21
VMware Remote Console 10.0.3 for Linux
2018-11-27
VMware Remote Console 10.0.3 for Mac
2018-11-27
VMRC VMware Remote Console 10.0.3 for Windows
2018-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人