自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 elasticsearch 超过单个字段最大长度解决办法

现象 在向es 写数据的时候,由于用到的默认的全局模板,会对文本类型的字段设置为keyword,也就是不分词(not_analyzed),用于做聚合等操作,同时会产生一个smart字段,该字段用于做分词,但是不分词的字段,它的最大长度和utf-8编码有关,最大长度为32766字节,如果字段长度超过这个最大值,就会报如下错误:ava.lang.IllegalArgumentExce...

2018-08-02 10:59:17 21898

原创 java多线程技术四- 传统多线程同步通信技术

面试题分析 子线程循环10次,接着主线程循环100次,接着又回到子线程循环10次,再回到主线程循环100次,往复循环50次,请写出程序 分析 子线程在循环的时候,主线程不能执行,说明子线程和主线程之间一定要互斥,子线程循环10次的代码要被保护起来,主线程循环100次的代码要被保护起来 分析清楚业务逻辑,业务逻辑是子线程循环10次,接着主线程循环100次,彼此往复调...

2018-07-28 15:25:23 310

原创 java多线程技术系列三-线程范围内变量共享

线程范围变量共享 案例 创建两个线程,用于产生一个随机数,另外,A,B两个模块去获取这个数据,程序如下:public class ThreadsShareData { protected static int shareData; public static void main(String[] args) { for (int i = 0; ...

2018-07-28 11:46:51 830

原创 java多线程技术系列-二 线程互斥技术

线程安全 背景:银行卡转账:比如我卡里有1000块,我现在要转转账200块给家里人,这时候程序执行拿到1000这个余额,执行1000-200这个计算(**A线程**),正准备将余额=800赋值的时候,这时候另外有个人给我的账号里面转300块(**B线程**),这时候CPU跑到另外一个线程B去做balance=1000+300这个动作,做完之后余额balance=1300,这时候C...

2018-07-21 20:37:30 369

原创 ES返回值数量超过10000条解决方式

现象 ES默认返回数据量为10000条, 当分页的from超过10000条的时候,es就会如下报错:Result window is too large, from + size must be less than or equal to:[10000] but was [10500]. See the scroll api for a more efficient way to r...

2018-07-17 19:27:22 34474 5

原创 JVM crash 异常分析

背景在升级服务jar包的时候,由于采取的是热升级,即在服务运行的时候,替换掉服务的jar包,导致启动的时候JVM崩溃了,产生hs_err_pidxxx.log这样的log文件错误日志文件## A fatal error has been detected by the Java Runtime Environment:## SIGBUS (0x7) at pc=0x0000...

2018-07-17 10:35:34 6646

原创 ES6.2.4 index-template 实践

index templateindex模板是什么我们知道,向es中的每个index写入数据的时候,数据是有mapping的, 而这个mapping可以是dynamic mapping,也可以是事先创建的mapping,如果使用自动mapping的时候可能会出现问题,比如一个doc中有个字段值为2018-06-06 写入ES的时候会被映射成date类型,另一个doc的同样字段的值为aaa...

2018-06-13 17:58:18 2052

原创 ES6.2.4学习-动态映射解析-Dynamic Mapping + Dynamic Templates

一. 动态字段映射我们知道,我们在ES向ES中写入数据的时候会自动检测数据的类型,会为这些数据创建类型,那么es是如何自动检测字段类型的? es会参照默认的字段映射类型表,如下: json 类型 es数据类型 null 不添加字段 true or false bool 字段 float小数点数值 float类型 integer 类型...

2018-06-12 21:11:23 4691

原创 scala中function的使用

最近项目中在做数据存储的时候,由于数据格式不一样,都存到redis中,然后就写了一个RedisStore,在这里去判断数据是从哪里来的,eg:val data = inputStage.getOutput.data后面想想,这种做法其实是不合理的,为什么?1. RedisStore这个类所做的工作应该只是将key-value这种键值对的数据保存到redis中,其实不

2017-08-11 13:24:36 1264 1

原创 推荐系统中涉及到Id转换

最近的推荐系统项目中,使用spark 中的机器学习算法实现推荐,会把收到的用户行为数据转换为对应的评分数据,参考电影评分数据一样,其中spark mllib中的Als算法需要的数据格式是uid   itemid   rating这种格式的,其中uid,itemid是int类型的,但是server手机到的数据是string的,就拿uid来说,可能是cookie,可能是deviceid,这时候就要将这

2017-07-06 16:56:26 1024 1

原创 spark sql 中 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.Gener

最近在做推荐系统的项目,使用了spark 2.0,需要给每个userid 推荐出一个list ,使用了udf函数udf ()在每行执行的时候 得到org.apache.spark.SparkException: Failed to execute user defined function($anonfun$calcMaxSimilarity$2$1: (string, array) =>

2017-06-23 18:02:50 8523 1

原创 saprk rdd使用中遇到的一个典型问题

saprk rdd的使用注意

2017-05-19 18:55:01 959

原创 Exception in thread "main" java.lang.NoClassDefFoundError

Exception in thread "main" java.lang.NoClassDefFoundError

2017-05-11 17:10:18 4601

原创 spark序列化问题解决

saprk 未序列化 Exception in thread "main" org.apache.spark.SparkException: Task not serializable

2017-05-10 17:45:34 4877 2

原创 Scala中隐式转换整理

Scala,隐式转换

2017-04-23 22:50:37 657

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除