大数据—周源
文章平均质量分 74
大数据Hadoop生态圈技术具体研究,主要研究Hortonworks开源的大数据Ambari集群管理平台
源神
天道酬勤
展开
-
HDB—PXF访问HBase数据(四)
1 访问HBase数据1.1 先决条件在尝试使用PXF访问HBase数据之前,请验证以下内容:Ø /etc/hbase/conf/hbase-env.sh配置文件必须引用pxf-hbase.jar 。 例如,/ /etc/hbase/conf/hbase-env.sh应包含以下行: export HBASE_CLASSPATH=${HBASE_CLASSPATH}:/usr/lib/pxf/pxf...原创 2018-03-27 16:13:58 · 626 阅读 · 0 评论 -
HDB—PXF使用手册之访问HDFS(三)
1 PXF插件PXF要求您在主机上运行Tomcat。Tomcat保留端口8005、8080和8009。请确保其他服务使用的端口不是8005。防止在启动 PXF 服务时发生端口冲突。1.1 目录结构目录描述/usr/lib/pxfPXF库目录/etc/pxf/confPXF配置目录。此目录包含pxf-public.classpath和pxf-private.classpath配置文件/var/pxf...原创 2018-03-22 17:09:19 · 1225 阅读 · 2 评论 -
HDB—Apache HAWQ系统要求(二)
本章主题:主机内存配置HAWQ内存配置无密码的SSH配置磁盘要求网络要求端口要求Umask要求遵循这些准则来配置每台将运行Apache HAWQ或PXF服务的主机。主机内存配置为了防止Apache HAWQ集群中的数据丢失或损坏,您必须在每台主机上配置内存,以便由于OOM条件而导致Linux内存不足(OOM)杀手进程永不杀死HAWQ进程。(HAWQ使用自己的规则来强制执行内存限制。)对于HAWQ的...翻译 2018-03-09 17:17:39 · 803 阅读 · 0 评论 -
HDB—HDB 2.3.0新特性和版本要求(一)
1、HDB 2.3.0新特性(对比HDB 2.2.0)(1)HAWQ Ranger HA(High Availability)和Kerberos支持(2)支持PXF HiveVectorizedORC profile和JDBC插件(3)Bug修复2、支持平台HDBPXFHDPAmbariHAWQ Ambari Plug-inRHEL/CentOS2.3.0.03.3.0.02.6.12.5.12....原创 2018-03-09 13:37:13 · 2081 阅读 · 7 评论 -
Ambari—Atlas配置HA(八)
Atlas1.先决条件在Ambari 2.4.0.0中,添加或删除Atlas元数据服务器需要手动编辑 atlas.rest.address属性。2.步骤(1)点击Ambari仪表板上的Hosts ; 然后选择要安装备用Atlas Metadata Server的主机。(2)在新的Atlas Metadata Server主机的Summary页面上,单击Add> Atlas Metadata ...原创 2018-03-07 09:29:25 · 2453 阅读 · 0 评论 -
Ambari—Oozie配置HA(七)
先决条件(1)支持Oozie服务器的关系数据库也应该使用针对正在使用的数据库系统定义的最佳实践提供HA(高可用性),并且应在与您的内部DBA协商后完成。多个Oozie Server实例不支持使用默认安装的Derby数据库实例; 因此,您必须使用现有的关系数据库。在使用Apache Derby作为Oozie服务器时,您无法将Oozie Server组件添加到群集中。(2)Oozie的高可用性需要使用...原创 2018-03-06 15:46:32 · 2532 阅读 · 0 评论 -
Ambari—Storm配置Nimbus HA(六)
新增一个 Nimbus Component步骤:(1)在Ambari Web中,浏览Services > Storm。(2)在Service Actions中,单击+ Add Nimbus选项。(3)点击要安装额外Nimbus的主机; 然后点击Confirm Add。Ambari安装该组件并重新配置Storm以处理多个Nimbus实例。...原创 2018-03-06 15:09:08 · 1063 阅读 · 0 评论 -
Ambari—Ranger配置Ranger Admin HA(五)
1、Ranger5.1 先决条件(1)将keystore/truststore文件(/etc/security/serverKeys)复制到其他位置(例如/etc/<component>/conf)。(2)确保JKS文件名是唯一的。(3)确保应用了正确的权限。(4)确保密码是安全的5.2 配置Ranger Admin HA(无SSL)(1)使用Ambari启用Ranger Admin ...原创 2018-03-06 14:35:58 · 4406 阅读 · 3 评论 -
Ambari—Hive配置HA(四)
1、Hive4.1 Hive MetastoreHive Metastore HA解决方案旨在处理Metastore服务失败。每当部署的Metastore服务关闭时,Metastore服务在相当长的时间内都会保持不可用状态,直到恢复服务为止。为避免此类停机,在HA模式下部署Metastore服务。Hive Metastore客户端始终使用第一个URI连接Metastore服务器。如果Metasto...原创 2018-03-06 09:46:11 · 3428 阅读 · 1 评论 -
Ambari—HBase配置HBase Master HA(三)
HBase HA高可用性介绍从架构上看,HBase从一开始就有了强大的一致性保证。所有的读写操作都通过一个RegionServer进行路由,这可以确保所有写操作按顺序进行,所有读操作都可访问最近提交的数据。但是,由于读取到单个位置的这种“single homing”,如果服务器变得不可用,则RegionServer中托管的表区域将在一段时间内不可用,直到恢复为止。区域恢复过程分为三个阶段:检测,分...原创 2018-03-05 17:26:07 · 5787 阅读 · 0 评论 -
Ambari—YARN配置ResourceManager HA(二)
2、ResourceManager2.1 先决条件(1)群集中必须至少有三台主机(2)运行Apache ZooKeeper服务器至少三台2.2 操作步骤(1)在Web主界面中,浏览 Services > YARN > Summary(2)选择Service Actions并选择Enable ResourceManager HA。"Enable ResourceManager HA"向导...原创 2018-03-05 16:17:54 · 4351 阅读 · 0 评论