2017年12月_zhuiqiuuuu

12月 11月 10月 09月 08月 07月 06月 05月

转载有界、无界队列对ThreadPoolExcutor执行的影响

ava提供了4钟线程池：newCachedThreadPoolnewFixedThreadPoolnewSingleThreadExecutornewScheduledThreadPool查看源码会发现，这四种线程池都直接或者间接获取的ThreadPoolExecutor实例，只是实例化时传递的参数不一样。所以如果java提供的四种线程池满足不了我们的需求，我们可以创

2017-12-26 13:39:38 10719

转载 Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。Fair Scheduler的配置选项包括两部分，其中一部分在yarn-site.xml中，主要用于配置调度器级别的参

2017-12-20 14:56:06 829

转载 hive正则表达式详解

hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。1.regexp语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同select count(*) from olap_b_dw_hotelorder_f where create_date_wi

2017-12-20 14:54:22 1942

转载 spark参数调优

摘要　　1.num-executors　　2.executor-memory　　3.executor-cores　　4.driver-memory　　5.spark.default.parallelism　　6.spark.storage.memoryFraction　　7.spark.shuffle.memoryFraction　　

2017-12-20 14:51:26 370

原创 spark编程模型与基本架构图

1. spark编程模型Spark应用程序从编写到提交、执行、输出的整个过程如图2-5所示，图中描述的步骤如下。0）用户使用SparkContext提供的API（常用的有textFile、sequenceFile、runJob、stop等）编写Driver application程序。1）Cluster Manager：Spark的集群管理器，主要负责资源的分配与管理。集群管理

2017-12-07 21:59:11 817