- 博客(7)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 scala中“=>”的4种使用场景
表示函数的返回类型(Function Type) scala> def double(x: Int): Int = x*2 double: (x: Int)Int //定义一个函数变量: scala> var x : (Int) => Int = double x: Int => Int = <function1> //调用 scala...
2020-04-26 17:32:59
416
转载 EMR 上的 Spark 或 Hive 作业失败并出现 HTTP 503 “Slow Down” AmazonS3Exception
问题现象java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down; Request ID...
2020-04-24 09:39:20
995
转载 使用Hbase协作器(Coprocessor)同步数据到ElasticSearch
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch最近项目中需要将Hbase中的数据同步到ElasticSearch中，需求就是只要往Hbase里面put或者delete数据，那么ES集群中，相应的索引下，也需要更新或者删除这条数据。本人使用了hbase-rirver插件，发现并没有那么好用，于是到网上找了一些资料，自己整理研究了一下，就自己写了一个同步数据的组件...
2020-04-19 22:25:13
377
转载 使用ES作为hbase的二级索引进行查询
先上代码，ES的工具类/*** elasticsearch 工具类*/public class elasticsearchUtil { private static TransportClient client = null; private static Settings build = null; static { build = Set...
2020-04-19 22:11:21
921
转载 org.apache.hadoop.security.AccessControlException: Permission denied: user=root
原因：hdfs上没有root用户，也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/root, 由于root用户对hdfs目录并没有写入权限，所以导致异常的发生。而hdfs才有权限创建/user/root解决方法：1、第一种在hdfs的配置文件中，将dfs.permi...
2020-04-12 12:54:18
2624
1
转载 hbase性能调优
一、服务端调优1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好。2）、hbase.h...
2020-04-07 12:46:18
484
转载 git merge 和 git rebase 小结
git merge是用来合并两个分支的。git merge b# 将b分支合并到当前分支同样 git rebase b，也是把 b分支合并到当前分支-----------------------------------他们的 原理 如下：假设你现在基于远程分支"origin"，创建一个叫"mywork"的分支。$ git checkout -b mywork ...
2020-04-02 22:30:25
186
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人