自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小狮子的技术分享

Big data/ Deep learning

  • 博客(17)
  • 收藏
  • 关注

翻译 Effictive Scala(2)

Effictive Scala(2)变型变型(Variance)发生在发型与子类型化(subtyping)结合的时候。与容器类型的子类型化有关,它们定义了对所包含的类型如何子类型化。因为scala有声明点变型(declaration variance)注释,公共库的作者–特别是集合–必须有丰富的注释器。这些注释对共享代码的可用性很重要,但滥用也会很危险。不可变(invariants)是scala类型

2017-04-12 15:34:56 373

翻译 effective scala(1)

effective scala(1)空格用两个缩进。避免每行长度超过100列。在两个方法、类、对象定义之间使用一个空白行。命名1.对作用于较短的变量使用短名字:is,js,ks等可以出现在循环中。2.对作用域较长的变量使用长名字:外部APIs应该用长的,不需加以说明便可理解的名字。例如:Future.collect 而非 Future.all。3.使用通用的缩写,避开隐秘难懂的缩写。4.不要重新绑定

2017-04-11 17:19:49 417

原创 如何通过API调用alluxio 文件系统

如何通过API调用alluxio 文件系统一般来说,不论从spark,hfds等等大数据分布式框架,甚至使用公有云api,来说,与集群进行交互不外乎以下这些套路: 设置configuration(有很重要的主节点host,port,等等) 通过configuration生成context 通过context,得到一个client这时候,通过这个client去调用各种法方法

2017-03-02 18:55:27 2718 6

原创 hadoop2.7.3关于hdfs配置项的变动(相比较hadoop2.6.0)

hadoop2.7.3关于hdfs配置项的变动(相比较hadoop2.6.0)调查方式:我从hadoop的官方网站下载了2.6.0 和2.7.3 版本的hdfs-default.xml$ wget http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml$ wget http://had

2017-02-07 15:06:51 2425

原创 关于mesos搭建,webui显示不正常的原因及解决办法

关于mesos搭建,webui显示不正常的原因及解决办法问题1:mesos webui 不能显示信息,如下图所示。这个问题的原因是由于浏览器不兼容导致的,最新版本的mesos,甚至是hadoop等其他组件的webui都用了现在比较流行的H5以及js的流行框架,所以低版本的浏览器,不能显示。以上是在osx的safari浏览器打开的(版本较低),也有可能没做Safari的浏览器兼容。 还有

2017-01-23 10:16:06 4410

转载 Mesos 配置解读

Mesos 配置(丰富中。。。)转自 http://blog.csdn.net/yeasy/article/details/46683297 .。 基本项–ip 监听的IP地址–port 监听的端口,Master默认为5050,slave默认为5051–firewall_rule endpoint防火墙规则,可以是JSON格式或JSON格式的文件路径关于日志–log_dir 日志路径

2017-01-19 14:49:43 2286

原创 spark的基本概念(术语词典)

spark的基本概念(术语词典)Spark运行模式spark可以在本地模式运行,也可以伪分布式运行。分布式运行的方式有三种,底层资源的调度可以使用mesos或者yarn,也可以使用自带的standalone模式。spark的基本概念:1、Applicaiton:Application的概念和hadoop MapReduce中的类似,都是指用户编写的spark应用程序,其中包含了一个Driver功能的

2017-01-18 16:27:10 518

转载 Apache Mesos发布1.0版本

Apache Mesos发布1.0版本转自 dockone .。经过几年以来为全球多种最具创新性与需求性的应用提供支持,Apache Mesos如今终于迎来了1.0版本。事实上,Mesos的发展与成熟速度要远远超过其版本更迭——否则,其也无法支持苹果Siri、Twitter以及我们自己的DC/OS平台等重要项目。但是,这一切都没有影响到1.0版本所带来的里程碑式的意义。毫无疑问,Mesos 1.0版

2017-01-18 10:14:52 351

转载 Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数转自 董的博客 .。1. 权限相关配置参数这里的权限由三部分组成,分别是:(1)管理员和普通用户如何区分(2)服务级别的权限,比如哪些用户可以向集群提交ResourceManager提交应用程序,(3)队列级别的权限,比如哪些用户可以向队列A提交作业等。管理员列表由参数yarn.admin.acl指定。服务级别的权限是通过

2017-01-18 10:02:40 592

转载 Hadoop YARN配置参数剖析(1)—RM与NM相关参数

Hadoop YARN配置参数剖析(1)—RM与NM相关参数转自 董的博客 .。1. ResourceManager相关配置参数(1) yarn.resourcemanager.scheduler.address参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。默认值:${y

2017-01-17 17:07:49 318

原创 关于alluxio+spark报错,Jackson version is too old,不能生成sparkContext

问题重现:关于alluxio+spark报错,Jackson version is too old,不能生成sparkContext在搭建alluxio(原tachyon)+spark时,我们需要将alluxio-core-client-1.3.0-jar-with-dependencies.jar这个jar包添加到spark的classpath里,这样spark才能访问alluxio上的文件

2017-01-13 14:18:47 3410

原创 Alluxio1.1与hadoop2.7.3的整合

Alluxio1.1与hadoop2.7.3的整合alluxio介绍alluxio原名tachyon。alluxio是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似spark和MapReduce。通过利用lineage信息,积极使用内存,alluxio的吞吐量要比HDFS高300多倍。alluxio都是在内存中处理缓存文件,并且让不同的Jobs/Queries以及框

2017-01-06 10:44:07 577

转载 hadoop2.6完全分布式环境搭建(下-->配置文件)

hadoop2.6完全分布式环境搭建(下–>配置文件)1.在/usr/hadoop目录下新建如下目录(可省略该步骤)mkdir /dfsmkdir /dfs/namemkdir /dfs/datamkdir /tmp2.配置文件:hadoop-env.sh修改JAVA_HOME值3.配置文件:mapred-env.sh修改JAVA_HOME值4.配置文件:yarn-env.sh修改JAVA_HOME

2017-01-05 16:43:44 430

转载 hadoop2.6完全分布式环境搭建(上)

hadoop2.6完全分布式环境搭建(上)安装步骤:安装虚拟机系统(安装1个即可,其余的可以通过克隆),并进行准备工作安装JDK,并配置环境变量克隆虚拟机系统,并修改hosts、hostname配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。配置ssh,实现节点间的无密码登录关闭防火墙 master配置hadoop,并将hadoop文件传输到slave节点

2017-01-05 16:42:52 284

转载 Mesos1.0.0的革新(转)

Mesos1.0.0的革新(转) 2016年7月27号 Apache 社区发布了 Apache Mesos 1.0.0, 这是 Apache Mesos 的一个里程碑事件。相较于前面的版本,1.0.0首先是改进了与docker的集成方式,弃用了docker daemon;其次,新版本大力推进接口规范化问题,新的HTTP API使得开发者能够更容易开发Mesos框架;最后,为了更好的满足企业用户的

2017-01-04 10:50:00 312

转载 如何使用Maven进行测试

如何使用Maven进行测试Maven的重要职责之一就是自动运行单元测试,它通过maven-surefire-plugin与主流的单元测试框架JUnit3、JUnit4以及TestNG集成,并且能够自动生成丰富的结果报告。test阶段被定义“使用单元测试框架运行测试”。生命周期阶段需要丙丁某个插件的目标才能完成真正的工作,test阶段正式与maven-surefire-plugin的test目标相绑定

2016-12-22 13:53:01 6124

原创 Broadcast与map进行join,避免shuffle,从而优化spark

适用场景进行join中至少有一个RDD的数据量比较少(比如几百M,或者1-2G)因为,每个Executor的内存中,都会驻留一份广播变量的全量数据Broadcast与map进行join代码示例创建RDDval list1 = List((jame,23), (wade,3), (kobe,24))val list2 = List((jame,cave), (wade,bulls), (kob

2016-08-19 21:39:19 6720

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除