- 博客(17)
- 收藏
- 关注
RSS订阅
原创 Spark总结（三）——RDD的Action操作
1、foreach操作：对RDD中的每个元素执行f函数操作，返回Unit。def funOps1(): Unit = { var rdd1 = sc.parallelize(List(1, 2, 3, 5, 6)) rdd1.foreach(println _)}源码： 2、saveAsTextFile操作：将数据输出到hdfs上，将RDD中的每个元素映射转变为（Null, e.toSt
2016-07-27 19:17:06
3007
原创 Spark总结（二）——RDD的Transformation操作
1、创建RDD的两种方式： （1）、从HDFS读入数据产生RDD； （2）、有其他已存在的RDD转换得到新的RDD；scala> val textFile = sc.textFile("hdfs://192.169.26.58:9000/home/datamining/zhaozhuohui/workspace/test01.txt")scala> val tf2 = textFile.fla
2016-07-22 20:23:22
4968
原创 Centos安装Anconda3并使用jupyter-notebook
Centos安装Anconda3并使用jupyter-notebook一、安装Anconda1、下载Linux环境下Anconda安装脚本wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Linux-x86_64.sh2、执行Anconda安装脚本bash Anaconda3-2020.02-Linux-x86_64.sh接下来会出现一堆的Li
2020-06-29 19:44:21
727
原创 Scala学习笔记(三)—chapter3
1、定长数组Array和变长数组ArrayBuffer。变长数组又称数组缓冲。常用方法： += 在尾端添加元素，在尾端添加多个元素，以括号包起来 ++= 在尾端追加任何集合，比如Array、List等 trimEnd 移除最后N个元素 insert 插入 remove 移除 toArray 把ArrayBuffer转为Array2、构造映射的方式。->操作符看上去比圆括号更
2016-08-04 19:38:01
349
原创 Scala学习笔记(二)—chapter2
1、scala中的Unit相当于java或C里的void。2、块，在scala中，{ }块包含一系列表达式。块中最后一个表达式的值就是块的值。3、循环语句 （1）for循环和while\do while i <- 1 to 5: 1,2,3, 4, 5 i <- 1 until 5: 1, 2, 3, 4<-表示遍历右边区间每个元素赋值给左边。(2) 可以以变量 <- 表达式 的形式提供多个
2016-08-03 17:08:32
434
原创 Scala学习笔记(一)—chapter1
1、scala中，鼓励使用val——除非你真的需要改变它的内容。scala> val answer = 8 * 5 + 2answer: Int = 422、scala中，变量或函数的类型总是写在变量或函数名称的后面。scala> val greeting:String = ""hello"greting: String = hello3、scala中，仅当同一行代码中存在多条语句时才需要分好隔
2016-08-03 12:30:06
321
原创 Spark机器学习（一）—Spark相关
1、推荐书籍：《Advanced Analytics with Spark》《Machine Learning with Spark》《The Lion Way:Machine Learning plus Intelligent Optimization》《Pattern recognition and machine learning》《The elements of sta
2016-07-30 09:36:49
593
原创 Maven将依赖打入jar包
1、在Maven工程的pom.xml文件中添加下列代码<build> <pluginManagement> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-p
2016-07-21 21:47:51
2185
原创 Spark总结（一）
1、RDD是什么？有什么特性？有哪些优势？RDD：全称为弹性分布式数据集（Resilient Distributed Datasets），是一个只读的、容错的、并行的数据结构。2、Driver、ClusterManager、Worker、Executor。Driver:负责提交Job任务。ClusterManager:Spark的资源管理器。可以是Standalone、ya
2016-07-21 21:27:17
1017
原创 Scala总结（三）
1、偏应用函数2、闭包3、高阶函数：函数作为参数传递给另外一个函数，就是高阶函数。4、SAM5、Curring柯里化：柯里化是指把原来接受两个函数的参数变成新的接受一个参数的函数的过程。新的函数返回一个以原有的第二个参数为参数的函数。6、模式匹配val data = 2data match { case 1 => println("First") case 2 => println("Se
2016-07-21 16:32:37
310
原创 Scala总结（二）
1、scala类构造的时候，内部所有的成员除了方法以外，全部会被执行。class Person { var name = "anonymous" println("My name is " + this.name) def sayHello(): Unit = { println("Hello!") }}2、scala类除了主构造器以外的其他构造器内部首行必须用this来调用
2016-07-15 20:49:48
338
翻译 Advice for students of machine learning (written by David Mimno)
One of my students recently asked me for advice on learning ML. Here’s what I wrote. It’s biased toward my own experience, but should generalize.My current favorite introduction is Kevin Murph
2016-06-21 12:23:21
381
原创 安装libxml2时libtoolT错误解决办法
/bin/rm: cannot remove `libtoolT’: No such file or directory 解决方案安装libxml2时报错，解决办法(试过可行)：step1:vim configurestep2:找到$RM “$cfgfile” ，并注释掉这行step3:重新运行 ./configure就OK了。
2016-05-31 14:20:32
601
原创 MapReduce总结 (1)
【1】Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作业的InputFormat产生的。【2】Mapper的输出被排序后，就被划分给每个Reducer。分块的总数目和一个作业的reduce任务的数目是一样的。用户可以通过实现自定义的 Partitioner来控制哪个key被分配给哪个 Reducer。【
2016-04-07 21:53:06
737
原创 2014-02-27------JavaSE积累
JavaSE积累Java成员变量和局部变量局部变量：不是声明在类体括号里面的变量；局部变量使用前必须初始化值;局部变量没有默认初始化值;局部变量的作用域是从定义开始到定义它的代码块结束;成员变量:在方法体外,类体内声明的变量，又称字段(Field)或全局变量；基本数据类型转换之向上转型和向下转换向上转换：整型，字符型，浮点型的数据在混合运算中
2014-02-28 00:42:30
514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人