关注
分享当年的春天
目前就职于阿里巴巴,六年大型互联网后端(Java)研发经验，坐标北京；擅长微服务和中间件。
展开
-
写着简单跑得又快的数据库语言SPL
可惜的是，用SQL却写不出这样的算法，只能寄希望于数据库的优化器足够聪明，能把这句SQL转换成高性能算法执行，但情况复杂时数据库的优化器也未必靠谱。如果假定目前关系数据库的逻辑存储模式是合理的（也就是用数据表和记录来存储数据，其合理性与否是另一个复杂问题，不在这里展开了），那么SQL在描述事务类功能时没什么大问题，因为并不需要描述多复杂的动作，复杂性都在数据库内部解决了。所以呢，对于程序来讲，离散数据集中的集合是有序的，集合成员都有序号的概念，可以用序号访问成员，并定义了定位运算以返回成员在集合中的序号。原创 2022-11-10 08:00:00 · 2645 阅读 · 3 评论 -
轻量级大数据计算引擎esProc SPL,Hadoop Spark太重
Hadoop/Spark是源自头部互联网企业的重型解决方案，适合需要有超大规模集群的巨大企业。很多场景的数据虽然也不少，但小集群甚至无集群就足够处理，远没多到这些巨大企业的规模，也没有那么多的硬件设备和维护人员。这种情况下，轻量级的大数据计算引擎SPL是首选，投入很低的成本，就可以做到技术轻、使用简便，而且还能提高开发效率、达到更高的性能。...原创 2022-08-16 08:00:00 · 5836 阅读 · 5 评论 -
体系化探讨令人头疼的JOIN运算
如何构建一个安全可靠，稳定的数据存储是项目中最核心部分；在存储中JOIN一直是个老大难问题，点开文章详情轻松解决令人头疼的JOIN原创 2022-07-11 08:00:00 · 1491 阅读 · 6 评论 -
带你走进云原生数据库界扛把子Amazon Aurora
亚马逊将存储在近7500个Oracle数据库中的75PB内部数据迁移到多项亚马逊云科技数据库服务，迁移过程无需停机，涵盖亚马逊全部的专有系统，如复杂采购、目录管理、订单执行、会计系统、视频流工作负载等...原创 2022-06-22 18:12:09 · 5843 阅读 · 3 评论 -
Jedis问题解决方案大全:No more cluster attempts left
Jedis问题解决方案大全:No more cluster attempts left前言最近在项目中遇到Jedis报错 No more cluster attempts left，自己进行了排查；将遇到的问题解决方案在此进行记录；以后有更多的导致这个问题方案会持续进行补充。项目基本信息Redis是用的阿里云的Redis 5.0 企业版程序配置用jedis直连模式报错&定位问题&解决方案汇总报错信息定位问题本地启动项目，用测试环境报错请求的参数进行模拟请原创 2021-09-09 23:50:17 · 8164 阅读 · 2 评论 -
根据某个特定字符删除一行
前言最近接了几个新项目的需求，为了快速开发，我们的策略是：基于原来的一套维定项目代码及数据库基础，去开发新的项目，一般步骤如下：在原来的代码git基础上拉出一个新的git项目地址修改代码的项目名称，代码目录结构将原来项目对应的生产库导出表结构形成脚本建立新项目的数据库将原来表结构脚本导入新项目的数据库为了降低风险，我们执行的脚本中不能包含DROP TABLE 语句（防止运维在线上执行时误操作在其他库上执行）；如何根据某个特定字符删除一行前置说明MySQL客户端操作工具-Na原创 2020-07-12 23:58:51 · 1419 阅读 · 2 评论 -
Redis监控利器---Redis State
【前言】 在之前的博文《Redis百万级别数据迁移》中分享我们系统为降低服务器成本，从亚马逊云迁至阿里云的一次生产迁移过程中Redis部分迁移；去年迁移Redis时数据量500w+；最近在研究如何监控Redis的性能，Redis的Key命中率如何那？皇天不负有心人，找到一款Redis监控神器---Redis State；【Redis监控神神器】 一、本地运行...原创 2019-11-21 22:19:58 · 1079 阅读 · 0 评论 -
SQLException: Value '0000-00-00 00:00:00' can not be represented as java.sql.Timestamp
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 最近在工作的时候遇到一个关于SQL的问题，下面与大家共享一下。【探索之旅】 1、数据库中的字段： （1）字段的设置： （...原创 2018-01-13 20:32:02 · 17285 阅读 · 2 评论 -
OSS（一）:OSS工具类
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 我们上家公司的存储系统用的是FastDFS（智能一代云平台（二十八）:对前后端分离和FastDFS的使用的再理解）；现在在职的公司用的是阿里云的OSS（OSS的官方文档），在工作的时候整理一个上传OSS文件的工具类，现在与大家分享一下。【工具类】 ...原创 2018-01-13 21:29:03 · 27412 阅读 · 4 评论 -
Redis实现计数器---接口防刷---升级版（Redis+Lua）
【前言】 Cash Loan（一）:Redis实现计数器---接口防刷 中介绍了项目中应用redis来做计数器的实现过程，最近自己看了些关于Redis实现分布式锁的代码后，发现在Redis分布式锁中出现一个问题在这版计数器中同样会出现，于是融入了Lua脚本进行升级改造有了Redis+Lua版本。【实现过程】 一、问题分析 ...原创 2018-03-18 19:54:39 · 28796 阅读 · 14 评论 -
查看redis的Value值大小
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 最近项目一个需求，需要借助于redis缓存来实现，发现需要存的value值有些大；究竟有多大那？？？伴随这个疑问，开始一场探索之旅。【探索value值大小】 一、安装redis-rdb-tools（项目地址：github） ...原创 2018-07-29 16:32:10 · 45830 阅读 · 4 评论 -
Redis百万级别数据迁移
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 我们是做的国外的项目，最开始的时候调研在国外亚马逊云在可靠性等方面还是具有很大优势，于是我们的项目都部署在亚马逊云上； 我们业务发展十分不错，随着项目越来越大，用到的机器越来越多，同时亚马逊的成本也在不断攀升；最近一段时间我们又针对国外市场进行了各方面...原创 2018-08-05 21:55:18 · 27455 阅读 · 6 评论 -
SpringBoot实战（三）:整合Mybatis配置多数据源
【前言】 最近接到一个新需求，经过分析后做了相应的设计；其中需要在一个项目中操做不同的数据源；于是进行了相关验证；在此记录一下验证过程。【实战多数据源】 一、Pom中引入相应的Jar包<!-- mysql 基础服务--><dependency> <groupId>mysql</group...原创 2019-01-12 16:56:31 · 3676 阅读 · 1 评论 -
SpringBoot实战（四）:SpringBoot整合Redis
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 最近自己在整理过去搭建过的框架，将用到的各个组件进行了梳理并融入自己新建的项目中（https://github.com/dangnianchuntian/springboot），一是对过去项目的整理；二是在整理的过程中查漏补缺；三是以后可以拿过去就用；【整合Re...原创 2019-01-12 17:32:34 · 7550 阅读 · 2 评论 -
利用EA根据sql脚本生成数据库文档
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 最近接到一个任务，通过数据库的sql脚本生成相应的数据库文档，表的数量比较多，手动写是不划算的；几年前用过EA这款十分棒的软件，于是用EA来生成；在这次使用的时候还是有一些曲折，为了方便以后再用不用重复的去做，特此写下此教程。【生成步骤】 一、环...原创 2019-01-18 17:23:58 · 4196 阅读 · 7 评论 -
SpringBoot实战（六）:Redis Pipeline 轻松实现百倍性能提升
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 今天在优化通知平台的路由部分时发现每次当路由初始化到Redis时异常慢，早就听闻Pipeline是redis批量操作的利器，正好这次用Pipeline进行优化；【整合Redis实战】 一、原理分析 1、单个命...原创 2019-05-28 21:50:12 · 6654 阅读 · 2 评论 -
数据库主从延迟导致查询不准确的解决思路
【前言】 当数据达到一定量的时候，数据库会成为整个系统的瓶颈，一般采取的优化策略为读写分离，数据库通过分主库从库从而实现读写分离（写请求操作主库，读请求操作从库）；【解决数据延迟思路】 一、主从同步原理（在此以目前最普及的MySQL为例） 以下是一张经典的MySQL通过binlog实现主从数据同步的原理图： ...原创 2019-06-12 23:15:54 · 5705 阅读 · 1 评论 -
MySQL（二）:MySQL性能优化
【目录】MySQL（一）:MySQL中的事务MySQL（二）:MySQL性能优化【前言】 在对MySQL的事务进行了学习总结之后，继续对MySQL的性能优化进行学习并进行总结，将自己在工作中的性能优化经验以及自己一个实战进行记录，与大家共享；【那些不得不知的优化技巧】 一、根据自己以往的经历和查阅些相关资料之后对MySQL的优化总结了以下几点：...原创 2017-06-01 18:08:24 · 20436 阅读 · 19 评论 -
Redis实现计数器---接口防刷
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 刚刚过去的双十一，大家有没有剁手，紧接着双十二马上又来临；看到全民大抢购的时候，做为一名技术人，不免的会有些职业病，总会好奇抢购秒杀等等背后的技术。 正好最近自己在做项目的时候需要防刷，自己在做完后做了些小测试，在这里与诸君共享！【探索】...原创 2017-12-03 22:07:08 · 31606 阅读 · 12 评论 -
Linux上安装集群版Redis
【前言】 之前自己在Windows中玩过一段时间Redis（感兴趣的朋友可以看下-Redis系列博客），这次在项目中也有幸能负责起Redis，也由于前两天服务器硬盘损坏导致开发的Redis服务器重新装系统，自己有幸能重新装一遍集群版的Redis，在这个过程中还是遇到些小麻烦，在此总结一下，希望对各位读者有所帮助。【跌宕起伏安装流程】 一、说明:...原创 2017-03-03 09:55:48 · 19965 阅读 · 49 评论 -
Redis服务器被劫持风波
【前言】 俗话说全猛于虎，之前多多少少有所小体会；这次的上线Redis服务器被劫严重影响了开发测试和线上环境，在解决的过程也对安全方面了解了很多；总结了这次过程的排查流程以及采取的相应测试，在此与大家共享。【被劫风波】 一、问题： 1、开发，生产，测试服务器(shiro :246;开发:251; 测试:204;生产:164,165)每台机器的Redis...原创 2017-02-25 21:44:55 · 20916 阅读 · 50 评论 -
Mongodb系列：初识Mongodb
一、背景： 月初进行了期末考试很荣幸能够参加到了考试系统维护中（详情请阅读：《那些年我们一起参加的活动：15年上半年考试系统维护总结》）！主要负责服务器维护，在维护期间对Mongodb相逢。 Mongodb什么东东？？？如果有点晕的童鞋请猛戳Me科普一下哈！ Mongodb优势：由于它的存储结构不同于传统的数据库使得通常它用来存储大的文件，如：照片、视频、...原创 2015-07-16 15:13:42 · 20169 阅读 · 70 评论 -
SQL Server 轻松解决令你头疼的sa登录
【前言】 相信用过SQLServer的朋友，很多人都用sa登录！但是很多时候都遇到问题，比如新装的SQLServer后sa登录有问题等等！今天小编就和大家一起分享下如何解决sa登录令人头疼的问题。【问题】 相信大家对18456这个数字有点影响，为什么这么说那？答案全在下图中。 基本上sa登录出问题都是报的上图这个错误，不过也有个别例外（...原创 2016-01-03 22:08:57 · 26364 阅读 · 23 评论 -
SCPPO（九）:性能优化之停工装置按照开工装置更新价格
【前言】 最近做的一个项目中客户提出了新的需求；在完成这次任务时候真是一波三折，当然在这个过程中收获许多，在此与大家共享！【一波三折】 基础：1.企业中的装置会产生物料，物料价格是衡量物料的价值标准间接成为衡量装置的标准。2.企业会每个月上传自己本月各个物料的价格，存在表开工装置表中； 3.由于各方面原因企业也会...原创 2016-07-16 21:43:07 · 18608 阅读 · 16 评论 -
SCPPO（十二）:SQL误操作如何恢复？
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan【前言】 今天研究项目中自己有疑惑的一块儿内容应该是这个系统的核心—数据从上传的Access中解析出来（ETL的贡献）经过一系列的存储过程将数据放到数据库表中（每天凌晨都会定时的执行这一系列操作）这只是今天的引子，不具体深入的讲解下去，小编会在接下来的博文中更加深入的为大家分享；...原创 2016-07-28 14:04:04 · 23270 阅读 · 60 评论 -
Redis简介
【前言】 组长反复提到系统加载的慢性能有待提高，正好这两天任务都提前完成；于是乎开始着手研究Redis；经过两天的研究将Redis应用到了系统中并做了相关的测试，在接下来的几篇博文中，小编就为大家分享一下这次性能优化之旅。【我眼中的Redis】 ·Redis是什么？一种缓存型key-value数据库！(参考：Redis百科)·传统网站 PK 缓存...原创 2016-08-07 19:40:42 · 20054 阅读 · 32 评论 -
Windows下Redis安装的那些事儿！
【前言】 在上篇博文《SCPPO:Redis简介》中为大家简单介绍下Redis！光说不练假把式，接下来小编就为大家分享下在Windows服务器上进行安装过程。【安装之旅】 ·安装流程： 1、Redis官方不支持Windows版本，不过在github上有，地址：https://github.com/ServiceStack/redis-win...原创 2016-08-13 20:53:48 · 21004 阅读 · 34 评论 -
C#中Redis封装的类
【前言】 上两篇博文为大家分享《SCPPO:Redis简介》和《SCPPO:Windows下Redis安装的那些事儿！》，接下来该从程序级别入手去抛抛怎么应用；今天主要为大家分享下几个封装好的关于Redis操作的类，为下篇的功能优化《SCPPO:Redis在项目中的使用及性能测试》做铺垫。【封装类介绍】 1、在项目中引入Redis相关的DLL：...原创 2016-08-14 15:14:17 · 24902 阅读 · 28 评论 -
Redis在项目中的使用及性能测试
【前言】 在上篇博文中为大家分享了《SCPPO:C#中Redis封装的类》，有了这个基础后接下来为大家分享下，在我们的项目中我是如何利用Redis来提高性能的滴！【实现过程及性能对比】 一.现状：项目中有个功能—点击时加载树中数据，特别慢，有待优化！二.权衡：用过缓存的朋友都知道数据库的数据与缓存同步是个绕不开的问题；于是乎和组长确认下这个加载树中的数据什么时候...原创 2016-08-14 17:07:36 · 30026 阅读 · 27 评论 -
Redis在项目中的使用及性能测试（续）
【前言】 在上篇博文《SCPPO:Redis在项目中的使用及性能测试》中小编为大家分享了在程序中引入Redis以及性能的提升，不过遗留了功能的完善以及性能在服务器上的测试，咱们就一鼓作气，将功能完善并发布到服务器上做相应的测试。【功能完善及再次性能测试】 一、功能完善：数据库中数据更改后将数据库中的数据同步到Redis，向组长确定有五个功能操作时会改变树中的数据，自然...原创 2016-08-15 21:51:19 · 19852 阅读 · 41 评论 -
项目中SQL语句的一些应用总结
【前言】 纵观项目的开发，当项目框架搭建起来之后，更多的功能是无非是根据业务来操控SQL语句，针对每个开发来说SQL语句是个基本功，是避不开的。 当然SQL语句也挺有意思，通过它也能尽情的展示我们的才华，今天小编梳理一下最近项目中对SQL一些应用，在此与大家共享。【再现SQL语句】 小编最近在做的是一个维护类型的项目，基本框架已经成型，主要工作是业务...原创 2016-09-18 22:43:50 · 18643 阅读 · 64 评论 -
SCPPO（二十三）:SQLServer数据库备份那些事儿
【前言】 今天远程服务器，突然发现服务器一个盘（容量：1T）快满了，于是好奇点进去看看哪些东西占了这么多，经过排查后发现是SQLServer的备份文件，占据了绝大部分的空间；之前对SQLServer的备份也没有太多的关注，于是在解决这次盘容量慢的过程中，也有机会将SQLServer备份学习一下。【有趣的事】 1、系统数据库的简单介绍： （1）我们...原创 2016-10-15 11:30:22 · 20088 阅读 · 28 评论 -
SCPPO（二十六）:测算过程中问题的解决总结
【前言】 一月一度的企业测算如期而至，遇到一个非常棘手的并发问题，解决的过程挺有意思，在此与大家共享。【有趣的过程】 一、前提： 1、测算是指每个月某些企业需要进行，点击测算后，系统会有一套计算逻辑（存储过程）将该企业的本月数据进行相应的规整，写入数据库中，供总部核对。 2、时间安排：每个月的24日和25日两日进...原创 2016-11-04 12:55:43 · 19659 阅读 · 55 评论 -
vb与数据库（二）之迟到的学生信息管理系统总结
学生信息管理系统是在7月27号结的项目，结项目时自己就计划写一篇总结于是当时就开了个头，然后将其存入草稿箱，计划是将其完善再发表，结果一拖就拖到现在（拖拉不是病，拖起来要了命！！！）。出来混的总是要还的，幸亏不用掏利息要不然真得去要饭了。。。时隔二个月后再重新将它进行完善，不过也有一个好处在经历了机房收费系统以及软工前一阶段的洗礼后，如今再回味学生信息管理系统将是一种不同的境...原创 2014-10-09 16:44:10 · 28310 阅读 · 43 评论 -
VB与数据库（三）之迟到的机房收费系统总结
前言：我的机房收费系统总结比别人来的更晚一些！暑假刚结束的时候自己的vb版的机房收费系统就已经完结了，由于自己懒的毛病一直没有总结（找借口的节奏？？？，值得深思！！！），但是米夫子说的好：出来混的总是要还的。不过好在自己在敲机房的时候在为知笔记上记录下了自己的感触以及自己的收获吧！看过很多人的博客对这句话——总结是颗粒回仓，有了更深的理解。欠下的账迟早要还的，所以现在赶紧还（实...原创 2014-09-26 23:39:04 · 13697 阅读 · 52 评论 -
MySQL（一）:MySQL中的事务
【目录】MySQL（一）:MySQL中的事务MySQL（二）:MySQL性能优化【前言】 MySQL中的事务是MySQL中重要的一部分内容；虽然之前用了很久不过这次再用的时候仍然发现自己存在一些盲点；于是乎针对事务进行了学习并总结；在此记录一下与大家共享。【不得不知事务四大特性】 一、事物的四大特性 1、原子性（Atomicity）...原创 2017-06-01 17:43:05 · 19761 阅读 · 19 评论 -
选课中应用Redis一些思考
【前言】 唯妍最近在研究Redis并且想把Redis加在选课这块儿，正好自己最近在项目中应用了Redis并且之前在家的时候接触过选课这块儿的内容；所以我们针对这块儿的实现进行了几次探讨，以下是唯妍在实现过程中遇到问题我们根据问题进行探讨一些精彩地方的整理。【愉快的交流】 一、几点简单说明： 1、选课功能简介：选课的指定在某一段时间内有很多学生...原创 2016-09-15 22:24:18 · 17597 阅读 · 41 评论 -
对Redis配置中bind的探索
【前言】 经历了两次病毒的攻击（感兴趣的朋友参考《高校云平台（十三）:Redis服务器被劫持风波》和《高校云平台（十六）:解决Linux服务器被植入木马总结》）让我们对安全重视程度又提高了许多；总结两次遭受攻击，目前没有确定病毒是如何攻击到局域网中的，但是两者都是通过Redis的漏洞攻进来，第一个是遭挖矿，第二个是僵尸攻击；所以对Redis做相应的安全防护是个绕不开的弯。【一...原创 2017-03-24 17:19:10 · 24848 阅读 · 20 评论 -
vb与数据库（一）之迟到的耿建玲视频总结
从7月28号到8月6号，历时9天将42集的耿建玲视频看完了。看的过程中将笔记都记录在了为知笔记上，但是都是罗列式的笔记，没有经过自己的思考与整理。后来因为自己懒，就一直没有总结。由于最近看到了许多人的总结博客，自己感觉确实总结是个比较省力但是相反收获比较大的一个事情！如果说第一遍学习是春天播种的话那么总结就是秋天的丰收，自己完全没有理由不去收获它！所以现在将自己欠下的债还一下...原创 2014-09-29 23:37:30 · 14729 阅读 · 44 评论