zhangguifeng389-CSDN博客

原创分析

4.1需求分析4.1.1功能性需求1、帮助天翼高清用户从庞大的电影库中找出最适合自己的5部电影，避免让用户陷入信息过多的困扰。2、可以动态增加或者删除推荐算法引擎，更改各推荐算法引擎的权重，从而提高混合推荐算法的效果。4.1.2非功能性需求1、数据仓库是整个系统稳定性和整体性能的关键所在，由于该项目需要存储大量的用户、电影、用户对电影评分的数据，

2017-11-13 20:59:12 311

原创 scala笔记

def m(x:Int):Int=x*xval f=m _ //通过神奇下划线将方法转化为函数

2017-09-29 17:47:51 159

原创 scala-单机wordcount

方法1：val aa= List("Wade James Rose","Love Wade Cat James","Wade Scala Spark","James Scala Spark")val aa1 = aa.flatMap(_.split(' '))val aa2 = aa1.map((_,1))val aa3 = aa2.groupBy(_._1)val resul

2017-09-29 17:26:20 155

原创函数参数用法笔记

# -*- coding: utf-8 -*-# 函数定义和默认参数def func(x, y = 500): print(x, y)func(150)func(100, 200)func(y = 300, x = 100)# 可变参数def func(name, *numbers): print(name) print(numbers)func('

2017-09-04 12:14:00 231

原创汉诺塔python实现

def move(n, a, b, c): if (n == 1): print(a + '->' + c) else: move(n - 1, a, c, b) print(a + '->' + c) move(n - 1, b, a, c)move(3, 'A', 'B', 'C')

2017-09-04 09:53:56 313

原创学习笔记

示例四、输出数据压缩输出数据量较大时，可以使用Hadoop提供的压缩机制对数据进行压缩，减少网络传输带宽和存储的消耗可以指定对map的输出也就是中间结果进行压缩可以指定对reduce的输出也就是最终输出进行压缩可以指定是否压缩以及采用哪种压缩方式对map输出进行压缩主要是为了减少shuffle过程中网络传输数据量对reduce输出进行压缩主要是为了减少输出结果占用的HDFS

2017-06-19 21:46:35 208

原创我的第一个shell脚本

shell脚本

2017-06-18 09:43:34 1036

原创 hive学习笔记

当使用Derby时，用户不可以执行2个并发的Hive CLI实例

2017-06-18 09:17:56 143

原创最近要学的课程

1、大讲台的爬虫，两个spark项目2、小象学院的金融和分布式爬虫

2017-06-15 14:20:44 214

原创 test

hiveuse gbd_dm_cmtc_safe;

2017-06-04 11:13:29 148

zhangguifeng389的博客