- 博客(8)
- 资源 (12)
- 收藏
- 关注
转载 Presto概念
Presto简介不是什么虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品,也不能用来处理在线事务(OLTP)是什么Presto通过使用分布式查询,可以快速高效的完成海量数据的查询。作为Hive和Pig的替代者,Presto不仅能访问HDFS,也能访问不同的数据源,包括:RDBMS和其他数据源(如Cassandra...
2019-11-27 23:18:46 329
转载 Hive MetaStore常用的元数据在Mysql中对应的表
1、Hive中databases的信息-》DBS字段关联,以及表TBL_ID(TBLS)-> SD_ID(SDS)-> CD_ID(CDS)-> SERDE_ID(SERDES)XMLCopy元数据表字段 说明DB_ID 数据库IDDESC 数据库描述DB_LOCATION_URI 数据库HDFS路径NAME 数据库名OWNER_NAME 数据库所有者用户名O...
2019-11-18 22:23:24 1116
转载 hive的用户和用户权限
HiverServer2支持远程多客户端的并发和认证,支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库,由于是内嵌的文件数据库,只支持一个用户的操作访问,支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限,其安全控制体系与Linux及Hadoop的用户是否存在联系。1)remote方式部署HiveHive中m...
2019-11-18 22:13:22 1924
转载 由“Beeline连接HiveServer2后如何使用指定的队列(Yarn)运行Hive SQL语句”引发的一系列思考
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2,目前的任务使用Hive SQL构建,分为两种类型:手动任务(临时分析需求)、调度任务(常规分析需求),两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列,为了避免两种类型的任务之间相互受影响以及并行任务数过多导致“hive”队列资源紧张,我们在调度系统中构建了一...
2019-11-16 22:03:24 1967
转载 hive beeline详解
Hive客户端工具后续将使用Beeline替代HiveCLI,并且后续版本也会废弃掉HiveCLI客户端工具,Beeline是Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine CLI的JDBC客户端。Beeline支持嵌入模式(embedded mode)和远程模式(remote mode)。在嵌入式模式下,运行嵌入式的Hive(类似Hive CLI),而远程模式...
2019-11-16 21:51:39 2839
转载 aws s3 并发上传文件
1. OverviewIn this tutorial, we'll see how to handle multipart uploads in Amazon S3 with AWS Java SDK.Simply put, in a multipart upload, we split the content into smaller parts and upload each part...
2019-11-10 17:23:19 3190
转载 redis性能优化——生产中实际遇到的问题排查总结
背景redis-K,V数据库,因其高性能的操作性和支持丰富的数据结构,目前大量被用于衔接应用层和关系数据库中间的缓存层。随着使用的场景越来越多,和数据量快速的递增,在生产环境中经常会遇到相关的性能瓶颈问题。这时候就需要借助一些外部的手段来分析瓶颈根源在哪,对症下药提升性能。常见性能问题及问题分析过程1、生产系统刚开始运行阶段,系统稳定。但是运行一段时间后,发现部分时间段系统接口响应变慢。查...
2019-11-04 23:29:07 188
转载 Kafka+Spark Streaming+Redis实时计算整合实践
基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.0版本的Spark搭建了计算平台,实现基于Spark Streaming的实时计算。我们...
2019-11-04 23:20:39 443
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人