- 博客(16)
- 资源 (6)
- 收藏
- 关注
原创 发送邮件com.sun.mail.util.TraceInputStream.<init>(Ljava/io/InputStream;Lcom/sun/mail/util/MailLogger;)V
报错信息如下:Exception in thread "main" java.lang.NoSuchMethodError: com.sun.mail.util.TraceInputStream.<init>(Ljava/io/InputStream;Lcom/sun/mail/util/MailLogger;)V at com.sun.mail.smtp.SMT...
2019-10-30 19:17:16 2246
原创 spark1.6升级2.3读取hive表报错NoSuchDatabaseException: Database 'ods' not found
升级完spark后,通过spark-submit 操作hive报错,如下:org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'ods' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$ap...
2019-10-30 19:00:07 2271 2
原创 IDEA本地远程调试kylin
首先部署的kylin版本和IDEA里下载好的源码版本需要保持一致。步骤如下:1、按照官方教程,安装配置好kylin(可用docker启动)2、在启动脚本kylin.sh中添加-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=19001如下:start_command="hbase ${KYLIN_EXT...
2019-10-22 14:58:32 895 2
原创 hive查看rcfile和orc
hive --orcfiledump /data/datawarehouse/xx/xxxx/xxxx/part-00199hive --rcfilecat /data/datawarehouse/xx/xxxx/xxxx/part-00199
2018-08-31 10:13:39 3693
原创 spark读取sqlserver数据BulkLoad到hbase
def load2hbase2(sc: SparkContext,tableName: String): Unit ={ val sqlContext = new SQLContext(sc) val properties = new Properties() properties.put("user","xxx") properties.put("passwo...
2018-08-13 10:29:21 1173
原创 java.lang.SecurityException: class "javax.servlet.ServletRegistration"'s signer information does not
本地调试spark程序运行时会报错如下:Exception in thread "main" java.lang.SecurityException: class "javax.servlet.ServletRegistration"'s signer information does not match signer information of other classes in th...
2018-08-13 10:17:02 3409 1
原创 VirtualBox修改虚拟机存储路径
由于VirtualBox默认虚拟盘存放在C盘,导致C盘容量占用太多,于是要将默认 存放 位置修改到容量充足的盘符下,本文将C盘C:\Users\testUser\VirtualBox VMs下的虚拟盘转移到E:\VirtualBox\VirtualBox VMs下,如下: 1.把C:\Users\testUser下的VirtualBox VMs和.VirtualBox两个文件夹拷贝到...
2018-05-02 15:06:14 7824 1
原创 合并本地文件并上传到hdfs
hadoop能从标准输入流中直接put,如下:cat /home/data/* |hadoop fs -put - /tmp/data/input
2016-06-13 14:19:55 698
原创 mapreduce生成HFile通过bulkload入hbase库问题
最近有个需求,要将相同id的记录存储为hbase的一行,于是就将id做md5后作为rowkey,相同id记录数据以json存储在列中,开始想用一个mapper和一个reducer搞定的,mapper负责将数据组织好(以id的md5值做key,整行数据组织成json串做value输出),reducer负责将相同key的value拼接起来,并write到HFile中。方法一:m
2016-05-16 11:18:06 667
转载 shell 2>&1的用法
原文章请参考:http://blog.sina.com.cn/s/blog_5842daa30101enz5.html经常关注linux脚本的人,一定看到过 2>&1 这样的用法,最初一定不明白其中的含义以及为什么是这样的一种组合。昨天偶然间再次看到了这个 2>&1 的写法,遂下决心搞明白其中的含义。 其实要弄清楚 2>&1 的含义,首先应当知道linux中有三种标准输入输出
2015-10-22 10:33:34 632
原创 Hadoop 文件操作
1、 hadoop fs -put input/* ./in/将当前目录下的input文件夹下所有文件放到hadoop的./in文件夹下
2015-04-20 21:36:35 529
原创 centos 防火墙设置
Linux下查看、关闭及开启防火墙命令1、重启系统后不会复原 开启: chkconfig iptables on 关闭: chkconfig iptables off 1、重启系统后复原 开启: service iptables start 关闭: service iptables stop 需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。 在
2015-04-20 21:23:07 413
原创 ssh 出现key_read 问题
ssh的时候总是出现:key_read: uudecode AAAAB3NzaC1yc2EAAAABIwAAAQEAyQVLUpGRK0Z3YMt+0aBVN/5oiar4KGiqEsGI6D+d3xT6wzi+wXdYH5tOm2vMsaQdm8VgGO8iTGx7yXNBiTL1x5NdyG7B70JLHqoNKXJWpmOVbbFmknp6RxYu0hjOUZvwd5sZ6ONdNL4Zln
2015-04-16 23:22:42 2354
原创 hadoop启动datanode总有一个失败
今天启动hadoop的时候总是有一个datanode无法启动,错误信息如下:STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = localhost/127.0.0.1STARTUP_MSG: args = []STARTUP_MSG: version = 1.2.1STARTUP_MSG: build = http
2015-04-16 23:14:25 819
原创 Server2008 服务器jacob操作Office
今天用jacob调用Office将Excel转换成html格式,在本机测试没有问题,可是到服务器上就报错: com.jacob.com.ComFailException: Invoke of: OpenSource: Microsoft Office ExcelDescription: Microsoft Office Excel 不能访问文件“D:\Program Files (
2014-12-30 18:06:41 2210
原创 CentOS 6.6下安装OpenOffice4.0
最近由于项目需要,要在公司服务器上安装Openoffice,网上搜了一些资料后成功安装,现分享给大家。1、首先先下载好需要的rpm包:Apache_OpenOffice_4.0.0_Linux_x86-64_install-rpm_zh-CN.tar.gz或直接命令下载:wget http://heanet.dl.sourceforge.net/project/openofficeorg.
2014-12-27 11:03:42 16404 1
java反序列化漏洞利用工具WebLogicExploit
2016-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人