- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mac pro 安装ChatGLM2-6B
参考：http://www.manongjc.com/detail/62-zuwklvrkupvaytn.html。
2023-07-06 17:01:23
854
原创 hiveserver2 权限& jdbc连接
一、hiveserver2 身份认证hiveserver2的身份认证采用LDAP，使用LDAP的工具采用开源的apacheDS。1、apacheDS下载安装参考：apacheDS ldap 安装，配置，增删查该及备份恢复_亦非我所愿丶的博客-CSDN博客_apacheds openldap(1)ApacheDS服务： 下载地址：Downloads — Apache Directory 最新版本：apacheds-2.0.0.AM26.tar.gz(...
2022-05-12 15:38:47
1101
原创 Clickhouse在zookeeper的znode操作
1、zookeerper的bin目录cd bin/2、启动zk客户端sh zkCli.sh3、查看Clickhouse的znode tablesls /clickhouse/tables/01/4、查看表节点ls /clickhouse/tables/01/personas_v2_tag_value_local5、查看队列路径ls /clickhouse/task_queue/ddl/6、查看节点的详细信息ls2 /clickhouse/tables/01/personas_
2022-02-07 11:58:05
1643
原创 Datax安装与使用
一、系统依赖Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Maven 3.x(Compile DataX)二、安装1、下载官网下载地址https://github.com/alibaba/DataX下载DataX源码，自己编译：DataX源码官网发布的Datax工具包，版本不是最新的，存在一些问题（比如mongo数据读取存在字段错位等问题），采用编译最新源码的方式。2、编译 在idea编...
2021-06-09 11:14:07
401
2
Griffin安装部署
一、安装部署安装步骤：https://zhuanlan.zhihu.com/p/93087991 https://github.com/apache/griffin/blob/master/griffin-doc/deploy/deploy-guide.md1、livy安装 只需要配置livy/conf/livy.conf,其他不用配置2、Elasticsearch 创建索引 去掉accuracy，Elasticsearch高版本后...
2021-06-09 11:10:18
812
Dolphinscheduler安装部署
一、安装部署官网：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/cluster-deployment.html安装样例：https://www.cnblogs.com/ttzzyy/p/13394488.html注意事项1、config/datasource.properties spring.datasource.url=jdbc:mysql://localhost:3306/dolphinsche...
2021-06-09 11:09:22
2343
原创 Atlas安装部署
一、Solr安装1、下载 curl -Ohttps://downloads.apache.org/lucene/solr/8.8.2/solr-8.8.2.tgz2、安装 采用cloud模式安装 tar -zxvf solr-8.8.2.tgz mv solr-8.8.2 /opt/module/ mv solr atlas_conf 具体配置参考：https://blog.csdn.net/g511266804/art...
2021-06-09 11:08:23
465
原创 hive 设置map端内存
set mapreduce.map.memory.mb=4096; set mapreduce.map.java.opts=-Xmx3600m;
2016-08-02 11:29:52
10491
1
原创 hive mapjoin
hive 版本：1.2.1 在Hive中，common join是很慢的，如果我们是一张大表关联多张小表，可以使用mapjoin加快速度。 mapjoin主要有以下参数：hive.auto.convert.join ： 是否自动转换为mapjoin hive.mapjoin.smalltable.filesize : 小表的最大文件大小，默认为25000000，即25M hive.auto
2016-07-31 21:52:39
623
原创 hive regexp_extracl函数用法
函数功能：字符串正则表达式解析函数。 **函数语法：**gexp_extract(string subject, string pattern, int index) 参数说明: subject是被解析的字符串 pattern 是正则表达式 index 是返回结果 取表达式的哪一部分 默认值为1。 0表示把整个正则表达式对应的结果全部返回 1表示返回正则表达式中第一个() 对应的结果
2016-07-21 14:04:17
1104
原创 hadoop异常 error in shuffle in fetcher
错误信息:Error:org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 解决方法：限制reduce的shuffle内存使用 hive：set mapreduce.reduce.shuffle.memory.limit.percent
2016-07-02 15:46:23
1955
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人