瞎胡侃
码龄9年
关注
提问 私信
  • 博客:609,134
    609,134
    总访问量
  • 124
    原创
  • 1,198,636
    排名
  • 54
    粉丝
  • 0
    铁粉
  • 学习成就
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
  • 加入CSDN时间: 2015-09-06
博客简介:

zl

博客描述:
上善若水。水善利万物而不争,处众人之所恶,故几于道。
查看详细资料
  • 原力等级
    成就
    当前等级
    3
    当前总分
    300
    当月
    2
个人成就
  • 获得134次点赞
  • 内容获得86次评论
  • 获得396次收藏
  • 代码片获得311次分享
创作历程
  • 6篇
    2023年
  • 3篇
    2022年
  • 1篇
    2021年
  • 10篇
    2020年
  • 14篇
    2019年
  • 49篇
    2018年
  • 34篇
    2017年
  • 21篇
    2016年
  • 5篇
    2015年
成就勋章
TA的专栏
  • 剑指offer算法(Java)
    46篇
  • spring-boot
    10篇
  • Java
    14篇
  • Linux
    13篇
  • Redis
    4篇
  • spring-cloud
    4篇
  • 数据库
    8篇
  • 大数据
    15篇
  • 数据结构笔记
    11篇
  • HTTP
  • js
    1篇
  • MyBatis
    2篇
  • exception总结
  • 多线程
    2篇
  • scala
    2篇
  • 其他
    13篇
兴趣领域 设置
  • 大数据
    hadoophivespark
创作活动更多

如何做好一份技术文档?

无论你是技术大神还是初涉此领域的新手,都欢迎分享你的宝贵经验、独到见解与创新方法,为技术传播之路点亮明灯!

182人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

ElasticSearch的RestClient结合Sniffer提高可用性

基于此,也引出一个潜在的可用性问题,即代码没有做到可以平稳支持ElasticSearch集群的重启,不局限于可预知的升级导致的重启,包括集群自身不稳定导致的集群节点变化如某节点的CPU和内容过高、所在机柜或机房故障等不可预期情况。也可通过以下方式更改是通过HTTP还是HTTPS,并且可以设置请求超时时间,避免因为拉取节点时间过长,影响服务恢复的速度或恢复失败,尽管设置超时时间后可能获得的节点数少于集群中的节点数。但是在重启集群的过程中,服务端代码却出现了大量错误,如下所示。
原创
发布博客 2023.12.26 ·
1143 阅读 ·
5 点赞 ·
0 评论 ·
9 收藏

Spark使用mariadb驱动读取AWS Aurora所有结果数据行都是列名

如上所示,所有的数据行内容都和列名是一样的。
原创
发布博客 2023.08.01 ·
214 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

《重构:改善既有代码的设计》学习总结

任何一个人都可以写出计算机可以理解的程序,只有写出人类容易理解的程序才是优秀的程序员名词形式,对程序内部结构的一种调整,目的是在不改变程序外部行为下,提高其可理解性,降低其修改成本。动词形式,使用一系列重构准则,在不改变程序外部行为的前提下,对代码作出修改,以改进其内部结构。
原创
发布博客 2023.07.11 ·
329 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

数据库中间件对比

相当于把中间件作为一个独立的服务了,它将接收到的SQL 语句做了一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此 SQL 发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。中间件在Driver或者连接池的基础之上,增加了一层封装。我们使用时,以Java开发为例,需要先引入一个jar包。中间件接收持久层产生的sql,同样对sql进行分析等操作,然后才落实到具体的库上。
原创
发布博客 2023.07.03 ·
416 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

延迟队列商业版RocketMQ和Pulsar的对比

和开源RocketMQ内置18个不同周期的延迟队列,最小1s,最大2h,采用对每个队列数据轮训检测的方式消费不同。商业版延迟消息使用类Mysql存储,持久到磁盘,官网显示最大延迟7天,阿里沟通支持最大三十天的任意延迟。4k为一条消息的基本计数,16k的延迟消息(高级消息),没秒发送10条则对应16/4*5*10= 200TPS。专业版支持流量预留,存储按量收费,无上限(标准版不支持流量预留,超过流量直接限流)专业版和标准版在容灾方面的区别,都是多AZ容灾,RTO不一样。本身支持多AZ,在创建的时候无感知。
原创
发布博客 2023.06.27 ·
1506 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

通过Redisson的管道批量操作来提高Redis Io效率

在刷1000万Redis Hash的Spark Job中, 通过使用Redisson Batch方式, 一次执行2万个hash的情况下,跑完1000万Redis Hash在本地启动的模式下,只用了10分钟就执行完毕,平均1次Batch(2万个Hash)用时1.2s。在这种场景下,redis的pipline模式能够极大的提高刷数效率, 有时需要一天完成的redis刷数任务, 在一次性执行2W条redis命令时可以达到极快的速度。初始化RedissonClient (简略描述)使用完关闭redisson。
原创
发布博客 2023.06.26 ·
1337 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何清理Git提交历史不留痕提交到新的仓库

Git项目迁移过程中,不希望将原有的提交记录引入到新的Git项目中,可以按如下方法操作。
原创
发布博客 2022.08.23 ·
1369 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

国际化时区-ElasticSearch时区处理

一、存储格式二、查询统计三、使用建议参考资料一、存储格式JSON 本身没有date类型,Elasticsearch将设置了时区的date转换为UTC时间,将没有设置时区的date直接设置为UTC时间,以long型时间戳存储。官网文档《Date datatype文档》内容如下Date datatypeJSON doesn’t have a date datatype, so dates in Elasticsearch can either be:Internally, dates are converted
原创
发布博客 2022.07.08 ·
1782 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

国际化时区-北美时区介绍

产品出海,势必要涉及到时区问题,不了解主要地区的时区,那产品展示层上给用户呈现的时间就会南辕北辙,让用户难以使用和产生误解。做好海外产品,也需要了解当地的风土人情,而时区就是首当其冲需要了解的。......
原创
发布博客 2022.07.06 ·
5629 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink 日常问题总结

目录1、Hadoop相关2、启动时出现missing parameter type错误3、处理Protobuf对象4、Flink-kafka Producer问题5、static关键字导致加载config为空问题6、序列化异常1、Hadoop相关javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be .
原创
发布博客 2021.02.10 ·
521 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Java 实现字符串的排列

输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。代码1、非字典排序 /** * 递归输出字符串的全排列组合 * 将字符串分为第一个字符,及剩余字符串两部分 * 将字符串的第一个字符与剩余字符串的字符依次交换 * 对剩余字符创重复...
原创
发布博客 2018.05.03 ·
516 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Spark任务的thrift冲突问题(logging-assembly)

因为项目是使用到了org.apache.thrift,在任务执行过程中,遇到了各种因thrift引起的jar包冲突问题,第一个想到的是shade<relocation> <pattern>org.apache.thrift</pattern> <shadedPattern>shade.org.apache.thrift</shadedPattern></relocation>最后一个stage解决了,但是由.
原创
发布博客 2020.10.21 ·
422 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

CDH添加新主机 - 主机上未检测到 Java JDK。

在cloudera manager管理界面上操作往CDH集群添加新主机时,跳过JDK安装的步骤,因为服务器一般都会安装有JDK全部步骤完成后,到主机配置也发现由如下提示:“主机上未检测到 Java JDK。”如果不解决这个问题,角色将会无法启动。在配置页面搜索java,配置对应路径,保存配置即可...
原创
发布博客 2020.09.29 ·
2276 阅读 ·
2 点赞 ·
0 评论 ·
3 收藏

Spark执行失败-SparkContext did not initialize after waiting for 100000 ms

执行其刚写完的项目进行测试时,遇到以下问题ERROR yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application检查代码(Scala),发现其将SparkContext的创建写在了class中,并且其之前还有很多其他的业务逻辑代码object S.
原创
发布博客 2020.09.18 ·
1198 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分析GC日志和Jstack文件的网站

GC日志gceasy.ioJstack日志fastthread.io
原创
发布博客 2020.09.11 ·
667 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

IDEA 下如何本地运行SPARK程序

1、主要是在VM options这里配置 -Dspark.master=local,即可直接在本地运行spark程序2、如果代码中需要传递参数,通过CommandLine和Options来解析,需要在Program arguments这里进行配置即可,比如--parameter xx --parameter2 xxx...
原创
发布博客 2020.08.18 ·
1954 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Spark读取hdfs文件并写入hive表中

package com.jobimport org.apache.commons.cli.{BasicParser, CommandLine, Options}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{StringType, StructType}case class Transfer2HiveConfig(query_day: String)object Transf.
原创
发布博客 2020.07.15 ·
3117 阅读 ·
1 点赞 ·
0 评论 ·
10 收藏

进入docker环境的shell脚本

$/bin/basharr=$(docker ps|awk '{print $NF}')index=-1echo "---------------"for i in ${arr[@]}do index=$((index+1)) echo " [$index] $i"doneecho "---------------"#docker ps|awk '{pri...
原创
发布博客 2020.05.06 ·
1482 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

LeetCode 234. 回文链表

题目信息原题地址请判断一个链表是否为回文链表。示例 1:输入: 1->2输出: false示例 2:输入: 1->2->2->1输出: true解法一class Solution { public boolean isPalindrome(ListNode head) { // 链表为空,或者只有一个元素,认...
原创
发布博客 2020.01.14 ·
184 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

LeetCode 27. 移除元素

题目信息原题地址给定一个数组 nums和一个值 val,你需要原地移除所有数值等于val的元素,返回移除后数组的新长度。不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。元素的顺序可以改变。你不需要考虑数组中超出新长度后面的元素。示例 1:给定 nums = [3,2,2,3], val = 3,函数应该返回新的长度 2, ...
原创
发布博客 2020.01.06 ·
118 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多