- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark updateStateByKey Java 和 Scala 版本
Jvav版本JavaPairDStream aggregateDStream = mapDSRDD.updateStateByKey(new Function2, Optional, Optional>() { /** * * @param v1 相同key传进来的值的集合 * @para
2018-01-16 14:46:53
519
原创 Spark JdbcRDD
JdbcRDD 用来链接数据库，直接重数据库中获取数据分析。JdbcRDD有6个参数 。 1、 sc SparkContext 类型变量 2、链接 jdbc的链接对象 3、sql语句，一般为查询语句 4和5 、为上下边界。 6、partitions 分区数 最后一个 参数，里面存放的是执行sql语句的返回值。JdbcRDD[T: ClassTag]( sc: SparkConte
2017-04-28 15:19:23
1130
原创 Spark Partition 分区记录
partitionBy 函数 自定义 Partitionerpartitioner 是在map阶段用来分区的，跟mapreduce的分区对应。可以用partitoner 来把数据分成多个区，每个区中包含特定key的数据。如果没有指定partitioner 默认使用 HashPartitioner。 注意：对spark RDD, partitioner 只有在key-value类型的RDD中可以设置
2017-04-27 11:15:57
3538
原创 Spark 分析Url
Spark 项目分析网络URL数据。加深RDD理解要求分析出每个域名的前三个访问量是哪些 URL数据格式3 http://tinyurl.com/3jcvsm//初始化SparkCOntext,这里用的是本地模式运行计算，并导入数据源val conf = new SparkConf().setAppName(this.getClass().getSimpleName().filter(!_.
2017-04-24 10:36:17
1762
原创 mapreduce原理
map task: 默认通过 TextInputformat（基类Inputformat） 读数据 TextInputformat 通过 RecordReader 调用 read() ，去hdfs上读数据（文件切片），数据的格为K,V。数据返回回来自动调用自定义的map方法。处理完后执行context.write()—-输出到——OutPutCollector —环形缓存区 默认大小100M 缓
2017-02-09 12:01:16
280
原创 mapReduce大量小文件的优化策略
默认情况下，TextInputFormat对任务的切片机制是按文件规划切片，不管文件多小都会上一个单独的切片，都会交给一个maptask，这样如果有大量的小文件，就会产生大量的maptask，处理效率及其地下。策略 最好的办法：在数据处理系统的最前端（预处理/采集），就将小文件合并成大文件再上传到HDFS做后续分析。 如果已经上大量小文件再HDFS中了可以使用另一种i
2017-02-09 12:00:26
1852
原创 Hadoop集群搭建，配置
hdfs 集群 文件读写 yarm集群 为mapreduce 程序分配运算硬件资源推荐三台：manage-PC datanode-1 datanode-2name node 端口9000
2017-02-08 14:44:16
302
原创 Django ReconnectingWebSocket 使用
ReconnectingWebSocketReconnectingWebSocket 是一个小型的 JavaScript 库，封装了 WebSocket API ，用它可以实现服务器向客户端推送数据。避免了客户端频繁发起请求。 Django是建立在请求和响应的简单概念之上的：浏览器发出请求，Django调用一个视图，它返回一个响应并发送回浏览器，这就完成了一次请求。 Django Cha
2016-12-14 18:45:49
3800
原创 Django中间件
django 中间件 有4个关键方法 class AuthMiddleware(MiddlewareMixin): def process_request(self, request):#预处理请求可以用作权限控制 def process_view(self, request, view, args, kwargs): def process_response(self, r
2016-12-14 15:01:30
295
原创 Python Thread学习笔记
在方法中使用Threaddef run(num): print 'hi i am a thread.',numdef main(): threads=[] for i in range(5): t = threading.Thread(target=run,args=(i,)) threads.append(t) t.start
2016-12-14 14:18:31
249
原创 Django ListView
ListViewListView django 内置的一个View，用于方便展示列表数据，可以很快实现分页展示。 1、关键变量。context_object_name————在模板中的变量名。{{name}}template_name————-模板一般是一个html文件名paginate_by————如果做分页这个参数说明每页有几个item项model——————对应的模型（Model）
2016-12-13 15:11:45
4508
原创 Django UpdateView 笔记
1、UpdateViewupdateView 上django内置的一个View 用于更新数据。 重要的内置参数：model——–更新的对象（Model）form_class——-对应Form对象template_name———模板一般是一个html页面get_success_url 或者success_url —-更新成功以后跳转的URL或者返回个浏览器的数据1、给updateView的
2016-12-13 14:53:09
1998
原创 Python
Python学习笔记1、时间差计算两个时间的差值（计算相差的秒数） start = datetime.datetime.strptime(str(current_time), '%Y-%m-%d %H:%M:%S')# 把时间转换成时间格式 end = datetime.datetime.now()#获取当前时间 seconds = (end - start) p
2016-12-13 10:43:30
267
原创 View的一些小知识2
1、LayoutInflater View渲染器，用于渲染各种布局并且把它加载到你的主布局中， 主要方法layoutInflater.inflate(resourceId, root); 内部逻辑是使用Android提供的pull解析方式来解析布局文件的。解析出来后通过反射方法来创建解析出来的控件。 2、两个属性，layout_height和layout_width 是用于设置控件
2016-06-30 10:51:41
244
原创 学习笔记，画布说
画布说1、默认画布的原点是在左上角的，都是重左上角（0,0）点开始画。屏幕的原点是在左上角2、画布绘制操作，画布可以绘制基本图形，图片，文字等。方法drawXXX()。3、画布变换操作，translate 位移，scanle 缩放，rotate 旋转，skew,倾斜。位移（translate）是根据原点的相对位置来移动的，并不是每次都重左上角的（0，0）点开始移动。
2016-06-15 11:58:54
636
原创 View学习笔记----View坐标
View的坐标系。一般的数据坐标系 View的坐标系。 View的坐标系是重右下角开始的X向左值越大，Y向下越大。getTop(): View左上角与父View顶部的距离。 getLeft():View左上角与父View左侧的距离。 getButtom():View右下角与父View顶部的距离 getRight():View右下角与父View左侧的距离MotionEvent get 和g
2016-06-08 17:05:16
403
原创 静态代理，动态代理---笔记
静态代理例如租房子。public interface Leasing { public String doLeasing(String name,long money);}一般实现类public class LeasingImpl implements Leasing { public String doLeasing(String name ,long money) {
2016-05-27 13:25:50
256
原创 Android checkBox,类似这个控件。
Android checkBox,类似这个控件。在使用CheckBox的时候会出现一个现象是在我们调用setChecked()方法的时候有的时候他会回调onCheckedChanged有的时候他不会执行，这个真是太郁闷，逻辑都不好添加。现在愿意找到了如下源码。public void setChecked(boolean checked) { if (mChecked != check
2016-05-13 10:28:35
830
原创 View的一些小知识
1、LayoutInflater View渲染器，用于渲染各种布局并且把它加载到你的主布局中， 主要方法layoutInflater.inflate(resourceId, root); 内部逻辑是使用Android提供的pull解析方式来解析布局文件的。解析出来后通过反射方法来创建解析出来的控件。2、两个属性，layout_height和layout_width 是用于设
2016-02-05 10:38:44
417
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人