中琦2513的猿生

Stay Hungry, Stay Foolish

排序:
默认
按更新时间
按访问量

MapReduce编程案例系列篇(1-9)

由于本人最开始接触大数据工作,主要以写MapReduce程序为主,虽然现在有流行的言论称MapReduce这种运行很慢的分布式计算编程框架将要被各种内存计算框架取代。但是MapRedcue也会吸收很多流行的内存计算的各种优点,我相信,将来,MapReduce绝对不会沦落到要淘汰的地步。甚至会后来居...

2017-10-23 18:27:32

阅读数:20099

评论数:2

IT十年--大数据系列讲解

个人觉得IT十年的大数据系列的博文非常干货。对于希望掌握整个大数据行业的技术栈的一个初步了解非常的有帮助,本人也是有事没事的上来看看。所以整理出来一个目录,放在自己的博客里,方便寻找学习。大数据(一) - hadoop生态系统及版本演化 大数据(二) - HDFS 大数据(三) - YARN 大数...

2016-10-23 22:35:26

阅读数:15005

评论数:0

倾情大奉送--Spark入门实战系列

这一两年Spark技术很火,自己也凑热闹,反复的试验、研究,有痛苦万分也有欣喜若狂,抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍,从Spark的简介、编译、部署,再到编程模型、运行架构,最后介绍其组件SparkSQL、Spark Streaming、Spark ML...

2016-10-23 22:23:00

阅读数:14552

评论数:1

周志湖Spark系列

本人本着十分尊重的态度来学习周老师的博文,特此为方便好找,在此做一个目录。方便学习。 Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行

2016-10-23 21:14:17

阅读数:15678

评论数:1

Scala入门到精通

这是本人收集的Scala学习资料,觉得还不错。转载比较费事,所以就只给链接了。顺便做个目标,方便好找。 Scalar入门到精通: 1、Scala入门到精通——第一节 Scala语言初步

2016-08-17 18:28:26

阅读数:17827

评论数:0

Spark-submit工具参数说明

  spark-submit工具参数说明 执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | python file> [app options]   参数名称 ...

2018-09-18 07:09:48

阅读数:18

评论数:0

从技术转管理,我做了什么来拯救自己?

我是一名新手项目经理,转项目管理岗1年半。在做管理之前,我是一名开发。也就是说,我是最常见的技术转管理了。 最开始,我极度不适应这个岗位。很累,但是不见成效。经过一年多的摸索,我终于在工作中总结出了一些心得,一些套路。所以我想给技术转管理的同学们讲一讲: 我做了什么,来拯救自己 个人背景和公司...

2018-09-09 10:24:08

阅读数:140

评论数:0

Spark的WordCount到底产生了多少个RDD

Spark的WordCount到底产生了多少个RDD 不少的同学在面试中会被问到:这样的一句标准的sparkcore的wordcount的代码到底能要产生几个RDD呢。相信大家对于一个标准的WordCount的代码一定不陌生: sc.textFile("hdfs://myh...

2018-09-05 08:43:23

阅读数:1529

评论数:0

光环大数据python爬虫

一、全面的爬虫工程师的技能单     1、python编程语言基础     2、HTTP协议(处理响应, )     3、html,css,javascript基本web技能     4、mysql/mongodb/redis等存储系统     5、urllib/requests/scrapy/...

2018-08-24 14:11:38

阅读数:586

评论数:0

数据库事务

数据库事务是数据库运行中的逻辑工作单位,单个逻辑工作单元所执行的一系列操作,要么都执行,要么都不执行。例如银行取款事务分为2个步骤(1)存折减款(2)提取现金,2个步骤必须同时完成或者都不完成。 数据库事务的四大特性(ACID): (1) 原子性(Atomicity):      事务的原子性...

2018-08-18 07:51:35

阅读数:1513

评论数:0

常用文件模板

Pycharm中的Python文件的模板: #!/usr/bin/python3 # -*- coding:utf-8 -*- # author: 马中华 https://blog.csdn.net/zhongqi2513 # ================================...

2018-08-12 13:48:06

阅读数:1515

评论数:0

常用的670个Python库和示例代码(快速上手+必备收藏)

一个不错的搜索Example的网站:http://www.programcreek.com/python/ 通过分析github上5000个开源python项目,找出最常用的库。下面是前670个。括号里的数字代表出现的频率,最大为5000。 1.os (2810) 2.sys (2563) 3...

2018-08-05 06:39:17

阅读数:3577

评论数:0

被空降到一个团队当领导,你会如何烧自己的三把火?

被空降到一个团队当领导,你会如何烧自己的三把火?   前言   当领导当然是好事情,升官发财嘛! 然而许多人当了领导没多久,要么自己逃了,要么被大领导赶走了。 业绩不好,被大领导赶走,这还可以想象,为何有些人自己要逃呢? 一个非常重要的原因,是被自己亲手点燃的“三把火”给烧跑了。 ...

2018-08-04 07:08:56

阅读数:3588

评论数:0

SparkStreaming整合Kafka-0.8的官方文档要点翻译

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.8.2.1 or higher) Note: Kafka 0.8 support is deprecated as of Spark 2.3.0.   Here ...

2018-08-02 12:01:22

阅读数:3793

评论数:0

Spark集群启动过程分析

2018-07-31 20:19:01

阅读数:3684

评论数:0

Storm1.2.2(控制台输出指定级别的Log信息)

写storm的时候,有的时候控制台会输出很多很多的“INFO”信息,造成自己写的System.out.println之类的信息会被冲刷掉,做接下来的配置能够有效地输出指定Log信息。 参考:https://logging.apache.org/log4j/2.x/manual/configura...

2018-07-31 08:47:38

阅读数:3956

评论数:0

NIO学习笔记

NIO 从 JDK1.4  才开始有:JDK1.7 推出 NIO 2.0在JDK1.4推出Java NIO之前,基于Java的所有Socket通信都采用了同步阻塞模式(BIO),这种一请求一应答的通信模型简化了上层的应用开发,但是在性能和可靠性方面却存在着巨大的瓶颈因此,在很长一段时间里,大型的高...

2018-07-11 08:40:02

阅读数:5423

评论数:0

同步异步+阻塞非阻塞-再述

一、IO概述 IO操作其实可以分成两个步骤,请求IO操作和执行IO操作。 一般的IO调用过程是这样的:发起IO操作的请求,执行IO操作,得到IO操作的结果,将结果返回给IO操作请求。 同步和异步 同步和异步是一种通信机制,涉及到调用方和被调用方,关注的是IO操作的执行过程及结果的返回方式,不同点在...

2018-07-11 08:35:22

阅读数:5409

评论数:0

同步异步+阻塞非阻塞-一述

前言在实际的开发中,我们经常会听到同步,异步,阻塞,非阻塞这些编程概念,每次遇到的时候都会蒙圈,然后就各种查网上似是而非的资料,结果越查越迷糊,大部分文章都千篇一律,没有说到本质上的区别,所以下次再碰到这些概念,印象还是比较模糊,尤其是在一些场景下同步与阻塞,异步与非阻塞感觉没啥区别,但其实这四个...

2018-07-11 08:33:02

阅读数:5408

评论数:0

MapReduce编程模型

2018-06-29 07:09:53

阅读数:5370

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭