互联网架构,如何进行容量设计 背景随着业务的增长,日流量从1W级别,增长到100W,甚至更多,此时需要对系统进行容量预估,那么容量预估应该如何预估呢,需要考虑什么指标呢容量预估指标看具体业务,对应到系统侧的主要矛盾是什么数据量 并发量,吞吐量 带宽 CPU/MEM/DISK等什么情况要进行容量评估容量有质变行增长 临时运营活动 新系统上线等 场景一:比如最近做的春节司机奖励活动,促销问题一:机器能抗住吗? 问题二:如果机器扛不住,需要加几台机器,需要做什么优化 场景二:平台结算接...
mvn deploy上传jar包到远程仓库 使用idea deploy命令 配置pom.xml <build> <finalName>ff-model</finalName> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId&g
jira管理 Jira是Atlassian公司出品的项目与事务跟踪工具,被广泛应用于缺陷跟踪(bug管理)、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。写完了《自动部署工具Jenkins》和《CentOS7搭建Confluence Wiki》,感觉有些缺憾,决定把Jira的搭建方法也记录一下。http://www.voidking.com/2017/03/21/deve-c...
高并发的解决方案 网络的结构当今的框架结构一般由页面层,网络层,应用层,服务层,数据层进行的,一般来说,要进行优化等均在这几个方向上进行高并发下常见的问题1)在集群下,Session是如何共享的三种方案(优劣对比)2)在集群下,N多台App服务器是如何被转发的(提出几种方案,优劣对比,采用最好的方案)3)在集群下,N多台数是如何被连接的(提出二种方案,优劣对比,采用最好的方案)4)在...
kafka集群搭建及简单使用 KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Li...
步步深入:MySQL架构总览,查询执行流程,SQL解析顺序 目录 前言:一、MySQL架构总览:二、查询执行流程1.连接2.处理3.结果三、SQL解析顺序准备工作 1.创建测试数据库 2.创建测试表 3.插入数据 4.最后想要的结果!现在开始SQL解析之旅吧!1. FROM(1-J2)ON过滤(1-J3)添加外部列前言: 一直是想知道一条SQL语句是怎么被执行的,它执行的...
mysql查询语句优化 mysql查询语句优化mysql的性能优化包罗甚广: 索引优化,查询优化,查询缓存,服务器设置优化,操作系统和硬件优化,应用层面优化(web服务器,缓存)等等。这里的记录的优化技巧更适用于开发人员,都是从网络上收集和自己整理的,主要是查询语句上面的优化,其它层面的优化技巧在此不做记录。 查询的开销指标 1.执行时间 2.检查的行数 explain 3.返回的...
redis分布式锁的正确实现方式 目录 前言可靠性代码实现组件依赖加锁代码正确姿势错误示例1错误示例2解锁代码正确姿势错误示例1错误示例2总结前言分布式锁一般有三种实现方式:1. 数据库乐观锁;2. 基于Redis的分布式锁;3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分...
Quartz的分布式任务调度应用 目录 Quartz 基本概念及原理Quartz Scheduler 开源框架Quartz 任务调度的基本实现原理线程视图基本的开发流程及简单实例quartz企业级开发中的常见应用的一些问题及常见的解决方案Quartz 基本概念及原理Quartz Scheduler 开源框架Quartz 是 OpenSymphony 开源组织在任务调度领域的一个开源项目,完全...
JVM调优总结 -Xms -Xmx -Xmn -Xss 堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置:java -Xmx3550m -Xms355
记一次OOM异常 最近有位 VPS 客户抱怨 MySQL 无缘无故挂掉,还有位客户抱怨 VPS 经常死机,登陆到终端看了一下,都是常见的 Out of memory 问题。这通常是因为某时刻应用程序大量请求内存导致系统内存不足造成的,这通常会触发 Linux 内核里的 Out of Memory (OOM) killer,OOM killer 会杀掉某个进程以腾出内存留给系统用,不致于让系统立刻崩溃。如果检查相关的
性能优化-单表数据过大 1.项目背景当数据库单表数据量达到一定程度时,数据查询变得很慢很慢,建立索引已经无法提高查询速度时,该如何对查询速度进行优化呢?以单表的数据量达到八千万数据,由于之前的架构设计,数据库设计的原因,直接导致数据库服务器负载过高,cpu 使用率接近百分百,后端迟迟无法返回数据给前端或返回数据时间高达20-30s,前端不停的请求数据,进一步导致数据库负载增高,差点死亡。
欢迎使用CSDN-markdown编辑器 SQL索引在数据库优化中占有一个非常大的比例, 一个好的索引的设计,可以让你的效率提高几十甚至几百倍,在这里将带你一步步揭开他的神秘面纱。 1.1 什么是索引? SQL索引有两种,聚集索引和非聚集索引,索引主要目的是提高了SQL Server系统的性能,加快数据的查询速度与减少系统的响应时间 下面举两个简单的例子:图书馆的例子:一个图书馆那么多书,怎么管理呢?建立一个字母开头的目录,例如:a开头
left join 和 left outer join 的区别 left join 和 left outer join 的区别通俗的讲: A left join B 的连接的记录数与A表的记录数同 A right join B 的连接的记录数与B表的记录数同 A left join B 等价B right join A table
linux常用命令 统计文件名满足条件的文件个数:(例如以a开头的文件个数) ls a* |wc -lecho 3 > /proc/sys/vm/drop_caches 手动释放CachedMemorydf -lh --查看系统磁盘空间,查看系统是否有挂载的网络系统 e.g., 查看当前目录挂载点信息: df -lh .du --查看占用的空间du -s
expect一键批量拷贝 #!/bin/shlocal_file=$1remote_dir=$2if [ $# -ne 2 ];thenecho "usage:$0 argv2"echo "must two argvs"exitfi[ -f ~/.ssh/known_hosts ] && > ~/.ssh/known_hosts
session是否过期 session详细解析(是否过期、失效时间) Session一直是我们做web项目经常使用的,以前没太注意,这次又细致的看了下! 1.session其实就是一个Map,键=值对,通过session.getAttribute("name");获得session中设置的参数 2.session的过期时间是从什么时候开始计算的?是从一登录就开始计算还是说从停止活动开始计算?
postgresql连接到schema 连接到postgresqlpsql --username=platrw --port=5432 --host=10.19.141.87 -d postgres用户名库名创建用户:CREATE USER bi WITH PASSWORD '123456qwer'djp01djp01创建schemaCREATE SCHEMA d