大数据
文章平均质量分 69
zhangxl-jc
这个作者很懒,什么都没留下…
展开
-
HBase数据迁移(阿里云到腾讯云实战)
阿里云的客户数据迁移到腾讯云环境;腾讯云环境已经部分新客户的数据。为了保证迁移到腾讯云的历史客户,依然能访问到他们的历史数据;需要注意迁移后不能覆盖腾讯云环境的表数据(即增量迁移),同时要求不能停表停服务。...原创 2022-07-12 20:11:36 · 927 阅读 · 0 评论 -
java 任务嵌入spark启动类
依赖类 org.apache.spark.launcher.SparkLauncher启动类:import org.apache.spark.launcher.{SparkAppHandle, SparkLauncher}object SparkLuncherTest { def main(args: Array[String]): Unit = { val launcher = new SparkLauncher() .setAppName("myTest") .原创 2022-04-26 17:02:17 · 2548 阅读 · 0 评论 -
Elasticsearch 未授权访问漏洞验证及修复
漏洞修复:1.限制IP访问,禁止未授权IP访问ElasticSearch端口(默认9200)。2.通过ES插件形式来增加访问验证,需要注意增加验证后切勿使用弱口令:①shield插件,收费,暂不考虑。②针对1.7.0版本之前的ElasticSearch,可采用elasticsearch-http-basic插件。下载地址:Releases · Asquera/elasticsearch-http-basic · GitHubelasticsearch-http-basic和其他ES插转载 2022-04-25 17:59:21 · 22706 阅读 · 0 评论 -
<转载>Presto对接华为HDFS 3.X,Unrecognized Hadoop major version number解决方案
简介这篇文章主要介绍了Presto对接华为HDFS 3.X,Unrecognized Hadoop major version number解决方案以及相关的经验技巧,文章约15691字,浏览量532,点赞数4,值得参考!一、场景复现登录命令行:./presto-cli--server192.168.6.1:10086--cataloghive--schemadefault--debug创建样例表:CREATETABLEbigdata(idvar...转载 2021-10-28 20:47:27 · 1119 阅读 · 0 评论 -
Kafka消费者任务入数据到elasticSearch和hbase出现jar包冲突
日志:Exception in thread "Thread-0" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator at org.apache.hadoop.hbase.zookeeper.MetaTableL原创 2020-08-13 19:05:17 · 339 阅读 · 0 评论