- 博客(17)
- 收藏
- 关注
RSS订阅翻译 Effictive Scala(2)
Effictive Scala(2)变型变型（Variance）发生在发型与子类型化（subtyping）结合的时候。与容器类型的子类型化有关，它们定义了对所包含的类型如何子类型化。因为scala有声明点变型（declaration variance）注释，公共库的作者–特别是集合–必须有丰富的注释器。这些注释对共享代码的可用性很重要，但滥用也会很危险。不可变（invariants）是scala类型
2017-04-12 15:34:56
376
翻译 effective scala(1)
effective scala(1)空格用两个缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使用一个空白行。命名1.对作用于较短的变量使用短名字：is，js，ks等可以出现在循环中。2.对作用域较长的变量使用长名字：外部APIs应该用长的，不需加以说明便可理解的名字。例如：Future.collect 而非 Future.all。3.使用通用的缩写，避开隐秘难懂的缩写。4.不要重新绑定
2017-04-11 17:19:49
420
原创 如何通过API调用alluxio 文件系统
如何通过API调用alluxio 文件系统一般来说，不论从spark，hfds等等大数据分布式框架，甚至使用公有云api，来说，与集群进行交互不外乎以下这些套路： 设置configuration（有很重要的主节点host，port，等等） 通过configuration生成context 通过context，得到一个client这时候，通过这个client去调用各种法方法
2017-03-02 18:55:27
2723
6
原创 hadoop2.7.3关于hdfs配置项的变动（相比较hadoop2.6.0)
hadoop2.7.3关于hdfs配置项的变动（相比较hadoop2.6.0)调查方式：我从hadoop的官方网站下载了2.6.0 和2.7.3 版本的hdfs-default.xml$ wget http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml$ wget http://had
2017-02-07 15:06:51
2429
原创 关于mesos搭建，webui显示不正常的原因及解决办法
关于mesos搭建，webui显示不正常的原因及解决办法问题1：mesos webui 不能显示信息，如下图所示。这个问题的原因是由于浏览器不兼容导致的，最新版本的mesos，甚至是hadoop等其他组件的webui都用了现在比较流行的H5以及js的流行框架，所以低版本的浏览器，不能显示。以上是在osx的safari浏览器打开的（版本较低），也有可能没做Safari的浏览器兼容。 还有
2017-01-23 10:16:06
4414
转载 Mesos 配置解读
Mesos 配置(丰富中。。。)转自 http://blog.csdn.net/yeasy/article/details/46683297 .。 基本项–ip 监听的IP地址–port 监听的端口，Master默认为5050，slave默认为5051–firewall_rule endpoint防火墙规则，可以是JSON格式或JSON格式的文件路径关于日志–log_dir 日志路径
2017-01-19 14:49:43
2291
原创 spark的基本概念(术语词典）
spark的基本概念(术语词典）Spark运行模式spark可以在本地模式运行，也可以伪分布式运行。分布式运行的方式有三种，底层资源的调度可以使用mesos或者yarn，也可以使用自带的standalone模式。spark的基本概念：1、Applicaiton:Application的概念和hadoop MapReduce中的类似，都是指用户编写的spark应用程序，其中包含了一个Driver功能的
2017-01-18 16:27:10
519
转载 Apache Mesos发布1.0版本
Apache Mesos发布1.0版本转自 dockone .。经过几年以来为全球多种最具创新性与需求性的应用提供支持，Apache Mesos如今终于迎来了1.0版本。事实上，Mesos的发展与成熟速度要远远超过其版本更迭——否则，其也无法支持苹果Siri、Twitter以及我们自己的DC/OS平台等重要项目。但是，这一切都没有影响到1.0版本所带来的里程碑式的意义。毫无疑问，Mesos 1.0版
2017-01-18 10:14:52
354
转载 Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数
Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数转自 董的博客 .。1. 权限相关配置参数这里的权限由三部分组成，分别是：（1）管理员和普通用户如何区分（2）服务级别的权限，比如哪些用户可以向集群提交ResourceManager提交应用程序，（3）队列级别的权限，比如哪些用户可以向队列A提交作业等。管理员列表由参数yarn.admin.acl指定。服务级别的权限是通过
2017-01-18 10:02:40
596
转载 Hadoop YARN配置参数剖析(1)—RM与NM相关参数
Hadoop YARN配置参数剖析(1)—RM与NM相关参数转自 董的博客 .。1. ResourceManager相关配置参数（1） yarn.resourcemanager.scheduler.address参数解释：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。默认值：${y
2017-01-17 17:07:49
319
原创 关于alluxio+spark报错，Jackson version is too old,不能生成sparkContext
问题重现：关于alluxio+spark报错，Jackson version is too old,不能生成sparkContext在搭建alluxio(原tachyon）+spark时，我们需要将alluxio-core-client-1.3.0-jar-with-dependencies.jar这个jar包添加到spark的classpath里，这样spark才能访问alluxio上的文件
2017-01-13 14:18:47
3412
原创 Alluxio1.1与hadoop2.7.3的整合
Alluxio1.1与hadoop2.7.3的整合alluxio介绍alluxio原名tachyon。alluxio是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，类似spark和MapReduce。通过利用lineage信息，积极使用内存，alluxio的吞吐量要比HDFS高300多倍。alluxio都是在内存中处理缓存文件，并且让不同的Jobs/Queries以及框
2017-01-06 10:44:07
581
转载 hadoop2.6完全分布式环境搭建(下-->配置文件)
hadoop2.6完全分布式环境搭建(下–>配置文件)1.在/usr/hadoop目录下新建如下目录(可省略该步骤）mkdir /dfsmkdir /dfs/namemkdir /dfs/datamkdir /tmp2.配置文件：hadoop-env.sh修改JAVA_HOME值3.配置文件：mapred-env.sh修改JAVA_HOME值4.配置文件：yarn-env.sh修改JAVA_HOME
2017-01-05 16:43:44
430
转载 hadoop2.6完全分布式环境搭建(上)
hadoop2.6完全分布式环境搭建(上)安装步骤：安装虚拟机系统（安装1个即可，其余的可以通过克隆），并进行准备工作安装JDK,并配置环境变量克隆虚拟机系统,并修改hosts、hostname配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。配置ssh，实现节点间的无密码登录关闭防火墙 master配置hadoop，并将hadoop文件传输到slave节点
2017-01-05 16:42:52
285
转载 Mesos1.0.0的革新（转）
Mesos1.0.0的革新（转） 2016年7月27号 Apache 社区发布了 Apache Mesos 1.0.0， 这是 Apache Mesos 的一个里程碑事件。相较于前面的版本，1.0.0首先是改进了与docker的集成方式，弃用了docker daemon；其次，新版本大力推进接口规范化问题，新的HTTP API使得开发者能够更容易开发Mesos框架；最后，为了更好的满足企业用户的
2017-01-04 10:50:00
312
转载 如何使用Maven进行测试
如何使用Maven进行测试Maven的重要职责之一就是自动运行单元测试，它通过maven-surefire-plugin与主流的单元测试框架JUnit3、JUnit4以及TestNG集成，并且能够自动生成丰富的结果报告。test阶段被定义“使用单元测试框架运行测试”。生命周期阶段需要丙丁某个插件的目标才能完成真正的工作，test阶段正式与maven-surefire-plugin的test目标相绑定
2016-12-22 13:53:01
6128
原创 Broadcast与map进行join，避免shuffle，从而优化spark
适用场景进行join中至少有一个RDD的数据量比较少（比如几百M，或者1-2G)因为，每个Executor的内存中，都会驻留一份广播变量的全量数据Broadcast与map进行join代码示例创建RDDval list1 = List((jame,23), (wade,3), (kobe,24))val list2 = List((jame,cave), (wade,bulls), (kob
2016-08-19 21:39:19
6732
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人