A宇-CSDN博客

原创 Python同时安装兼容多版本

Linux下python升级步骤 Python2 ->Python3 多数情况下，系统自动的Python版本是2.x 或者yum直接安装的也是2.x 但是，现在多数情况下建议使用3.x 那么如何升级呢？ python安装 python 版本选择：https://www.python.org/ftp/python/ 下载：wget https://www.python.org/ftp/py...

2018-12-13 15:33:09 507

原创 hadoop-streaming调用Python脚本解析ua

1.从环境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包 [root@ayu python]$ cd $HADOOP_HOME && find ./ -name "*streaming*" ./share/doc/hadoop-streaming ./share/doc/hadoop-mapreduce1/streaming.pdf ./s...

2018-10-22 14:35:28 392

原创 mapreduce自定义分区及分箱

分区 –数据发送给哪个reduce 分箱 –结果输出到哪个目录mapreduce分区/Partitionmapreduce默认使用HashPartitioner进行分区。源码如下：public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to part

2017-09-11 14:20:37 1321

JobControl的使用1.JobControl配置//1.首先声明一个JobControl JobControl jobControl = new JobControl("groupName");//2.然后写conf的配置 Configuration conf = new Configuration(); conf.set("name","value"); ...省略配置... ...一般这里

2017-09-08 14:40:33 599

原创 JAVA邮件发送

邮件发送接口定时发送邮件邮件报警程序运行成功／失败通知统计报表发送输入参数说明　：参数类型说明例子 title String 邮件标题邮件测试 content String 邮件内容该邮件由代码自动发送 emails List《String》邮件接收者 gaojunyu@admaster.com.cn 接收者定义

2017-09-05 11:32:56 575

原创 Json格式化输出

/** * 输入json数据 * 得到格式化json数据退格用\t 换行用\r */ public static String format(String jsonStr) { int level = 0; StringBuffer jsonForMatStr = new StringBuffer(); for(int i=0;ijsonStr.

2017-09-03 12:48:38 5275

原创 Hadoop_JavaAPI编程

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统 1.导入HDFS的jar包解压hadoop_2.6.0.tar.gz的安装包，选中所有放在lib中的jar包，右键，buildpath ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2016-12-12 23:53:11 616

原创 Hadoop_HDFS_Shell操作

一.hadoop 命令 Shell命令 Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变

2016-12-12 23:52:04 549

原创 hadoop启动及使用

一.开启Hadoop 开启Hadoop命令，进入Hadoop的安装目录，执行./start-all.sh 正常状态下的JPS 都出来了，并不代表所有节点全起来了，当怎么都有问题时，可以看一下集群的日志信息，看有没有报错单独启动某个节点，集群中缺一个都无法正常工作！ sbin/start-all.sh该命令会把整个集群进行启动，但是如果有一个节点的某个进程

2016-12-12 23:49:56 2165

原创 Hadoop伪分布式配置

135Hadoop2.6.0伪分布式设置准备工作：把JDK和Hadoop安装包上传到linux系统（oracle(home中的用户)用户的根目录） hadoop用户安装操作，主要是因为安全性问题，root用户的权限太大，而集群建通信又需要配置SSH免密登录，所以尽量不适用root Jdk安装 1. 在hadoop用户的根目录，Jdk解压，（hadoop用户操作） tar

2016-12-12 23:46:37 351

A宇