hadoop
进步中的alice
这个作者很懒,什么都没留下…
展开
-
启动ambari-server报错
经过查证,发现是之前版本的server的数据库没有清理干净。执行命令ambari-server reset,解决问题原创 2016-02-18 13:07:58 · 924 阅读 · 0 评论 -
yarn之调度
在yarn中,负责给应用分配资源的就是Scheduler。目前我们程序中选择的调度器是fairscheduler。 可以这样子理解:当提交一个大的job时,如果只有这一个job,则它获取的就是集群中所有资源;此时如果提交第二个job,这个fairscheduler就会分配一般资源给这个job,让两个job共享集群资源。当然其中一个任务完成后就会立即释放自己占用的资源,从而另一个任务又获取了全部系统原创 2016-07-30 12:49:47 · 781 阅读 · 0 评论 -
hadoop之non dfs used
最近总是被问到ambari上显示的磁盘上磁盘使用率上non dfs used是指什么,之前的回复都是“不是hdfs使用的空间,比如说系统linux本身文件占用的空间等”,朋友表示解释的不够准确。无意间看到一个老外在stackoverflow上写的例子,感觉还是很有道理的,表述如下: “non dfs used”可以通过如下公式进行计算:non dfs used = configured capac原创 2016-09-11 18:05:22 · 2444 阅读 · 0 评论 -
hive
转载:http://blog.csdn.net/haojun186/article/details/7977565非常感谢分享。。。。。目录(?)[+]1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查转载 2016-11-18 18:13:35 · 1304 阅读 · 0 评论 -
kerberos认证原理---讲的非常细致,易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题,转载 2017-01-10 15:55:55 · 1470 阅读 · 0 评论