2017年08月_守猫de人

08月 07月

原创通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题

最近由于公司的spark版本升级使用spark2.1.1版本，个人感觉spark2.1.1确实好用些。我写的代码上需要连接elasticsearch，去es查询然后返回结果，这个时候在使用maven打包然后运行就会报下面的错之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端，上网查看质料原因是guava18个和包和spark自带的冲突了。然

2017-08-16 09:58:47 1405

原创 CentOS 7 离线安装 MySql

CentOS 7安装MySqlCentOS 7不带Mysql数据库了，默认的数据库是MariaDB（Mysql的一个分支）。安装MySQL前，先把系统自带的mariadb卸载掉安装包可以去我的资源中下载2.1查询Mysql和Mariadb# find / -name mysql 查找mysql名字的文件和文件夹# rpm -qa|grep my

2017-08-12 11:47:15 395

原创解决 Error:Unable to find encoder for type stored in a Dataset

Error: Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing o

2017-08-10 14:58:42 9985 2