- 博客(15)
- 收藏
- 关注
RSS订阅原创 elasticsearch 超过单个字段最大长度解决办法
现象 在向es 写数据的时候，由于用到的默认的全局模板，会对文本类型的字段设置为keyword，也就是不分词(not_analyzed)，用于做聚合等操作，同时会产生一个smart字段，该字段用于做分词，但是不分词的字段,它的最大长度和utf-8编码有关，最大长度为32766字节，如果字段长度超过这个最大值，就会报如下错误：ava.lang.IllegalArgumentExce...
2018-08-02 10:59:17
21995
原创 java多线程技术四- 传统多线程同步通信技术
面试题分析 子线程循环10次，接着主线程循环100次，接着又回到子线程循环10次，再回到主线程循环100次，往复循环50次，请写出程序 分析 子线程在循环的时候，主线程不能执行，说明子线程和主线程之间一定要互斥，子线程循环10次的代码要被保护起来，主线程循环100次的代码要被保护起来 分析清楚业务逻辑，业务逻辑是子线程循环10次，接着主线程循环100次，彼此往复调...
2018-07-28 15:25:23
325
原创 java多线程技术系列三-线程范围内变量共享
线程范围变量共享 案例 创建两个线程，用于产生一个随机数，另外，A,B两个模块去获取这个数据，程序如下:public class ThreadsShareData { protected static int shareData; public static void main(String[] args) { for (int i = 0; ...
2018-07-28 11:46:51
845
原创 java多线程技术系列-二 线程互斥技术
线程安全 背景:银行卡转账:比如我卡里有1000块，我现在要转转账200块给家里人，这时候程序执行拿到1000这个余额，执行1000-200这个计算(**A线程**)，正准备将余额=800赋值的时候,这时候另外有个人给我的账号里面转300块(**B线程**)，这时候CPU跑到另外一个线程B去做balance=1000+300这个动作，做完之后余额balance=1300，这时候C...
2018-07-21 20:37:30
379
原创 ES返回值数量超过10000条解决方式
现象 ES默认返回数据量为10000条， 当分页的from超过10000条的时候，es就会如下报错：Result window is too large, from + size must be less than or equal to:[10000] but was [10500]. See the scroll api for a more efficient way to r...
2018-07-17 19:27:22
34518
5
原创 JVM crash 异常分析
背景在升级服务jar包的时候，由于采取的是热升级，即在服务运行的时候，替换掉服务的jar包，导致启动的时候JVM崩溃了，产生hs_err_pidxxx.log这样的log文件错误日志文件## A fatal error has been detected by the Java Runtime Environment:## SIGBUS (0x7) at pc=0x0000...
2018-07-17 10:35:34
6691
原创 ES6.2.4 index-template 实践
index templateindex模板是什么我们知道，向es中的每个index写入数据的时候，数据是有mapping的， 而这个mapping可以是dynamic mapping，也可以是事先创建的mapping，如果使用自动mapping的时候可能会出现问题，比如一个doc中有个字段值为2018-06-06 写入ES的时候会被映射成date类型，另一个doc的同样字段的值为aaa...
2018-06-13 17:58:18
2075
原创 ES6.2.4学习-动态映射解析-Dynamic Mapping + Dynamic Templates
一. 动态字段映射我们知道，我们在ES向ES中写入数据的时候会自动检测数据的类型,会为这些数据创建类型，那么es是如何自动检测字段类型的？ es会参照默认的字段映射类型表，如下： json 类型 es数据类型 null 不添加字段 true or false bool 字段 float小数点数值 float类型 integer 类型...
2018-06-12 21:11:23
4714
原创 scala中function的使用
最近项目中在做数据存储的时候,由于数据格式不一样,都存到redis中,然后就写了一个RedisStore,在这里去判断数据是从哪里来的,eg:val data = inputStage.getOutput.data后面想想,这种做法其实是不合理的,为什么?1. RedisStore这个类所做的工作应该只是将key-value这种键值对的数据保存到redis中,其实不
2017-08-11 13:24:36
1280
1
原创 推荐系统中涉及到Id转换
最近的推荐系统项目中，使用spark 中的机器学习算法实现推荐，会把收到的用户行为数据转换为对应的评分数据，参考电影评分数据一样,其中spark mllib中的Als算法需要的数据格式是uid itemid rating这种格式的，其中uid,itemid是int类型的，但是server手机到的数据是string的，就拿uid来说，可能是cookie,可能是deviceid，这时候就要将这
2017-07-06 16:56:26
1038
1
原创 spark sql 中 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.Gener
最近在做推荐系统的项目，使用了spark 2.0，需要给每个userid 推荐出一个list ，使用了udf函数udf ()在每行执行的时候 得到org.apache.spark.SparkException: Failed to execute user defined function($anonfun$calcMaxSimilarity$2$1: (string, array) =>
2017-06-23 18:02:50
8548
1
原创 Exception in thread "main" java.lang.NoClassDefFoundError
Exception in thread "main" java.lang.NoClassDefFoundError
2017-05-11 17:10:18
4636
原创 spark序列化问题解决
saprk 未序列化 Exception in thread "main" org.apache.spark.SparkException: Task not serializable
2017-05-10 17:45:34
4904
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人