![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NoSQL数据库
文章平均质量分 86
未竟
这个作者很懒,什么都没留下…
展开
-
Hive编程指南
1、基础知识2、基础操作$HOME/.hiverc历史命令在$HOME/.hivehistory在hive CLI 中执行hadoop的dfs命令,只要将hadoop去掉,结尾加分号3、数据类型和文件格式4、HiveQL:数据定义内部表、外部表、管理表、分区表5、HiveQL:数据操作导入数据:insert intoinsert overwritecreate table as select6、HiveQL:查询select ... from数学.原创 2021-07-16 15:25:16 · 476 阅读 · 0 评论 -
CrateDB单机版和集群版安装
这里安装的是 crate-ce-4.0.0 ,必须使用java 11版本从Oracle官网下载解压安装即可,下载地址:https://crate.io/download/vim ~/.bash_profile添加如下内容JAVA_HOME=/home/crate/jdk-11.0.3/PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/...原创 2019-07-08 09:42:36 · 2607 阅读 · 0 评论 -
Spark和Alluxio测试
使用anisble配置好的脚本安装环境:zookeeperhadoopsparkalluxio先修改一下配置文件:修改alluxio的配置文件/opt/alluxio/roles/install-alluxio/templates/alluxio-site.properties.j2:alluxio.zookeeper.enabled=false#true...原创 2019-06-24 08:53:10 · 617 阅读 · 0 评论 -
SparkSQL和Alluxio结合使用
1.先在hive配置文件中增加alluxio相关配置,然后再安装hive修改配置文件 playbooks/hive/vars.yml:#alluxioalluxio_path: "/opt/alluxio-1.8.1"alluxio_zookeeper_address: "192.168.6.12:2181,192.168.6.13:2181,192.168.6.14:2181"...原创 2019-06-24 08:51:26 · 566 阅读 · 0 评论 -
Presto和Redis结合使用
官方文档:https://prestodb.io/docs/current/connector/redis.html说明:版本Redis 2.8.0+不支持redis cluster只支持Redis string 和 hash类型的 value,不支持 sets 和 zsets 类型的value1.安装redismkdir /data/rediscd /data/re...原创 2019-06-11 17:52:16 · 2141 阅读 · 0 评论 -
Presto和Alluxio结合使用
1.下载prestohttps://prestodb.io/docs/current/installation/deployment.htmlpresto-server-0.215.tar.gz2.解压cd /opt/prestotar xvf presto-server-0.215.tar.gz3.配置cd presto-server-0.215mkdir...原创 2019-06-11 17:52:28 · 1573 阅读 · 0 评论 -
Presto优化方法
我们针对presto主要优化了以下方面:1.合并store_sales表里面的152小文件到38个文件,每个250M; ALTER TABLE store_sales CONCATENATE2.把presto的jvm内存,默认调整过系统的50%3.修改了join的默认PARTITIONED改成AUTOMATIC。是想通过CBO的优化策略,在有较小的表情况下,通过BROADCAST策略来...原创 2019-06-11 17:52:01 · 1475 阅读 · 0 评论 -
Presto编译安装和测试连接Hive
1.下载源码: git clone https://github.com/prestodb/presto.gitmvn clean install -DskipTests 在Windows环境下编译报错未解决在Linux环境下编译成功2.安装这里安装使用的不是自己编译的,而是安装官网文档操作,并下载的安装包。注意:需要jdk版本 java 8 u92+,否则会报...原创 2019-05-28 14:03:32 · 1528 阅读 · 0 评论 -
Kylin编译部署及汉化
一、下载git clonehttps://github.com/apache/kylin.git二、编译1、编译mvn clean install -DskipTests2、复制文件cp -r server/src/main/webapp/WEB-INF webapp/app/WEB-INF3、安装bowercd webappnpm install -...原创 2019-05-28 11:55:54 · 1948 阅读 · 4 评论 -
从Apache Kafka读数据写入TimescaleDB的案例
原文链接:https://streamsets.com/blog/ingesting-data-apache-kafka-timescaledb/作者:Pat Patterson 2019年5月28日 StreamSets新闻时间序列数据库时间序列数据库经过优化,可以处理按时间索引的数据,有效地处理特定时间范围内的数据查询。市场上有几个时间序列数据库,事实上,Data Collect...翻译 2019-06-03 15:45:11 · 1057 阅读 · 0 评论 -
使用Neo4j可视化和分析Salesforce数据
原文链接:https://streamsets.com/blog/visualizing-analyzing-salesforce-data-neo4j/作者:Pat Patterson 2017年5月16日 工程图形数据库通过节点、边、属性来表示和存储数据,允许快速、轻松地检索可能难以在传统关系数据库中建模的复杂层次结构。Neo4j是一个广泛部署在社区中的开源图形数据库;在本博客文章...翻译 2019-06-03 15:45:00 · 737 阅读 · 0 评论 -
改写Cassandra自带的SSTableExport类相关报错信息及解决办法
下面这些错误是在改写Cassandra自带的SSTableExport类的过程中遇到的错误信息及解决办法,相关代码在GitHub上,有兴趣的话可以查看,地址:https://github.com/WanZhang1/SSTableExport1、加载schemaException in thread "main" java.lang.RuntimeException: Attemp...原创 2019-05-23 09:02:26 · 391 阅读 · 1 评论 -
metabase编译报错
在metabase 工程目录下执行如下命令1、编译安装包./bin/build报错如下:$ ./bin/buildTagging uberjar with version 'v0.26.0-snapshot 36f38e1 master 2017-09-06'...Running 'yarn' to download javascript dependencies......原创 2019-05-28 09:31:41 · 905 阅读 · 0 评论 -
安装Redis Cluster集群版
在4台服务器上安装1、创建目录useradd redismkdir /data/redis_clustercd /data/redis_clustermkdir conf pidfiles log data script2、解压安装包tar -xzvf redis-4.0.11.tar.gz3、编译安装cd redis-4.0.11makema...原创 2019-05-21 17:47:02 · 236 阅读 · 0 评论 -
安装redis单机版
1.创建redis相关目录mkdir /data/rediscd /data/redismkdir conf pidfiles log data script2、解压安装文件cd /opt/redistar -xzvf redis-4.0.11.tar.gz3、编译安装cd redis-4.0.11makemake testmake install ...原创 2019-05-21 17:23:49 · 110 阅读 · 0 评论 -
安装使用Cassandra数据库
1、下载安装包需要用到比较老的版本1.1.5,下载地址http://archive.apache.org/dist/cassandra/,这里归档的版本很全。2、解压tar -zxvf apache-cassandra-1.1.5-bin.tar.gz3、启动服务bin/cassandra -f4、测试使用#创建keyspaceCREATE KEYSPACE...原创 2019-05-24 14:18:07 · 440 阅读 · 0 评论 -
测试解析Cassandra数据文件的项目Aegisthus
这个Netflix开源的一个项目,Aegisthus已经转换为维护模式,它仍然用于Netflix的ETL,但是它不会进一步发展。项目地址:https://github.com/Netflix/aegisthus1、首先克隆代码到本地git clone https://github.com/Netflix/aegisthus.git2、编译./gradlew build...原创 2019-05-24 14:09:32 · 197 阅读 · 0 评论