HASHDATA
文章平均质量分 62
GaryZhang000
勤耕不辍
展开
-
2021-09-07 gpfdist ERROR 404 permission denied
gpfdist ERROR 404 permission denied使用背景使用逻辑报错截图报错分析排查思路解决方案使用背景使用 gpfdist 协议外部表进行卸数。使用逻辑通过在 gpfdist server 上面创建 writable external table,通过 insert into <ext_table_name> select * from … 来将符合条件的数据导出,从而达到卸数的目的。报错截图报错分析从报错截图结合使用逻辑分析,需要在 gpfdist s原创 2021-09-07 12:45:35 · 420 阅读 · 0 评论 -
HashData外部表分隔符 E‘\001‘
外部表分隔符尽可能的不要使用换行符或者回车符作为分隔符。DELIMITER默认情况下 text 格式导出文件,分隔符为制表符。csv 格式导出文件为逗号。将分割符替换为 ASCII 码替换分隔符为 \001$ cat replaceScript.sh#!/bin/sh# 生成隐藏字符soh=`echo 1 | awk '{printf("%c", $1)}'` replaceWord=$1# 替换开始sed -i 's/'$replaceWord'/'$soh'/g' $2de原创 2020-11-18 11:53:41 · 729 阅读 · 0 评论 -
CSV&TEXT格式数据文件如何通过外部表的方式导入HashData在青云上面的应用
CSV&TEXT格式数据文件如何通过外部表的方式导入HashData在青云上面的应用优势:操作简单,不需要额外的ETL工具导入是多实例并发执行,效率大概在每个 instance 10-15MB/s如何通过外部表将 csv & text 格式数据文件,导入到hashdata数据仓库,简约步骤如下:1 - 创建与hashdata集群在同一区域的对象存储。2 - 创建API秘钥对。3 - 为每一张表创建外部表。4 - 通过 insert into <table_name原创 2020-08-23 22:16:59 · 357 阅读 · 0 评论 -
HashData如何找到并合法清理进程会话
HashData如何找到并合法清理进程会话查看指定数据库存在的用户进程存在一些疑问点查看指定数据库存在的用户进程此处我们以 warehouse 数据库为例:warehouse=# select * from pg_stat_activity; datid | datname | procpid | sess_id | usesysid | usename | current_query | waiting | query_start原创 2020-08-23 21:27:17 · 192 阅读 · 0 评论 -
关于数据同步(Oracle 2 HashData)
需要从 Oracle 同步数据到 HashData1- 全量同步。 1.1- 将表结构创建到对应的 HashData 数据库中。 1.2- 数据同步: 1.2.1- 使用 spoof 将 Oracle 中表的数据导出为 TXT 文件后,使用 copy 导入 HashData. 1.2.2- 使用 kettle 将 Oracle 中表的数据导入到 HashData。 1.2....原创 2019-11-22 19:09:41 · 295 阅读 · 0 评论 -
HashData之PostGis实验(一)
本次我们就从能找到的一些基础来做一些 PostGis 熟悉性的实验。首先说明一下添加 postgis 插件的方法:切换到HashData管理用户下,默认情况下是(gpadmin)执行以下 SQL:psql -d <DATABASE_NAME> -f /opt/gpsql/share/postgresql/contrib/postgis-2.1/postgis.sqlpsq...原创 2019-11-08 00:25:02 · 306 阅读 · 0 评论 -
关于 HashData 一台 segment host 上面多个 instance 连接对象存储报错问题
Cannot assign requested addressenvironment:master+standby +4segment 12 instance per segment hostwhen insert into table about 200 million rows.It through out error like bellow:solutionadd the ...原创 2019-05-23 10:13:43 · 156 阅读 · 0 评论 -
关于 COPY 导入数据的问题
关于COPY导入数据的问题(一)COPY 的语法:COPY table [(column [, ...])] FROM {'file' | PROGRAM 'command' | STDIN} [ [WITH] [ON SEGMENT] [OIDS] [HEADER] [DELIMITER [ AS ] 'delimiter'...原创 2019-04-18 22:44:13 · 1422 阅读 · 0 评论 -
HashData 复合主键
HashData 复合主键HashData 是支持复合主键的。在创建过程中,会同时创建一个唯一性复合索引。示例创建一个简单的测试表---create table create table t_coposite_keys (id int,name varchar,age int,primary key (id,name));查看一下默认创建的索引---select ...原创 2019-01-28 15:24:10 · 274 阅读 · 0 评论 -
ssh_exchange_identification: Connection closed by remote host
ssh_exchange_identification: Connection closed by remote host背景 在使用 gpinitsystem 初始化数据库的时候,如果一个 segment host 上面的 segment instance 个数过多的情况下。可能会出现这个错误。解决方案分析:可能是系统 ssh 连接数满了处理:先运行 lsof -i:22 查看 s...原创 2018-11-08 14:20:57 · 3357 阅读 · 0 评论 -
HashData 数据库故障处理(一)
项目背景在混合使用的环境中,特别是测试环境。如果数据库长时间没有使用,再次使用的时候可能会遇到数据库不能使用的情况,导致这个情况出现的原因:在没有正常关闭 HashData 数据库的情况下进行了集群中某些机器的重启。服务器时间未做 ntp 时钟同步,时差过大。修改了防火墙信息。人为误操作,导致数据库进程不正常关闭。此文仅面对第一种情况。报错信息在长时间未使用数据库,...原创 2018-09-12 10:17:27 · 1642 阅读 · 0 评论 -
org.apache.thrift.transport.TTransportException: Could n ot create ServerSocket on address /0.0.0.0:
Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: Could n ot create ServerSocket on address /0.0.0.0:29998. ...原创 2018-08-31 16:10:57 · 2058 阅读 · 0 评论 -
HashData 数据仓库离线安装手册
HashData 数据仓库离线安装手册第一章:文档概述1.1 适用范围本安装手册适用于 HashData 数据仓库 V1.2.2 版本的离线安装操作。本安装手册适用于 Redhat Linux 7.0 以上版本和 CentOS 7.0 以上版本的操作系统。本安装手册适用于开发测试环境的安装部署。生产环境的安装部署请联系售后。第二章:安装前的准备2.1 操作系统准备2.1.1 操作系统要求R原创 2017-07-25 11:41:10 · 1052 阅读 · 0 评论 -
在使用ambari进行安装部署过程中遇到的glibc问题
在使用ambari进行安装部署过程中遇到的glibc问题使用 yum check rpm -e rpm -q 处理问题报错信息如下:stderr: Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/s原创 2018-01-09 14:33:35 · 2184 阅读 · 0 评论 -
HashData 常用数据类型
HashData 常用数据类型HashData 的数据类型基本跟 PostgreSQL 的一样,类型十分丰富,下面介绍几种最常见的数据类型。对于 HashData 支持的其他数据类型,读者可以参考 PostgreSQL 文档。数值类型表一: HashData 支持的数据类型 —- 数值类型 类型名称 存储空间 描述 范围 smallint...翻译 2018-03-16 09:48:45 · 2042 阅读 · 0 评论 -
HashData 内存相关参数说明
max_statement_mem设置每个查询最大使用的内存量,该参数是防止 statement_mem 参数设置的内存过大导致的内存溢出。statement_mem设置每个查询在 segment 主机中可用的内存,该参数设置的值不能超过 max_statement_mem 设置的值,如果配置了资源队列,则不能超过资源队列设置的值,其计算公式为 ( gp_vmem_protect_...翻译 2018-03-16 13:23:46 · 819 阅读 · 0 评论 -
HashData 关于表的访问权限的问题
背景:我们有时候可能希望将 shema 中的现有表以及未来创建的表的 select 权限分配给用户。在 PostgreSQL 9.0 及以后版本新增了 ALL TABLES IN SCHEMA 语法,是可以实现以上功能需求的。GRANT { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES | TRIGGER } ...原创 2018-04-11 09:58:06 · 303 阅读 · 0 评论 -
关于内核参数被覆盖的问题
本文概要在混合部署的情况下,难免会遇到设置内核参数的情况,当两个系统软件对内核参数需求不同的情况下,则不可避免的会出现内核参数被覆盖的问题。问题描述HashData 1.4 版本从图中可以看到存在两个内核参数文件,在优先级上面来说,99-sysctl.conf 优先级高于 00-gpdb.conf ,而且 99-sysctl.conf 是后添加的文件,因此 99-sysctl....原创 2018-08-16 11:57:35 · 409 阅读 · 0 评论 -
HashData数据插入(integer DEFAULT NULL)
本章概要通过 COPY 命令从文件中读取数据插入表中。当表中列为 integer 类型,并且文件中对应列为空。实例创建测试表 test:drop table test;create table test(id int,"qycp_id" integer DEFAULT NULL)distributed randomly;创建测试导入文件 test.txt ,文件内容...原创 2018-08-17 11:40:16 · 493 阅读 · 0 评论 -
HashData-用户自定义类型
本章概要:简单介绍 create type 类型的创建和使用。留后补充case1:创建一个 compfoo 数据类型:CREATE TYPE compfoo AS (f1 int, f2 text);创建一个表 foo,插入两条测试数据:create table foo(fooid int,fooname varchar);insert into foo valu...原创 2018-08-31 10:44:36 · 744 阅读 · 0 评论 -
hashdata关于分区表权限管理&hashdata关于多权限(相对固定的权限)多人员的情况下的权限管理
1. hashdata关于分区表权限分配的问题?日常工作中,针对一些大表,我们可能会进行分区处理,即创建分区表。分区表可能存在一个或几个分区,也可能会存在几十个或者上百个分区。当我们想要将这个分区表的select,insert,updata,delete等权限分配给用户时,分区比较少的情况可以直接将各个分区的对应权限分配给用户,可是分区比较多的时候,我们如果还采用将子分区的权限分配给用户的话,将会极原创 2017-07-25 11:39:39 · 584 阅读 · 0 评论