Hadoop的MapReduce程序设计

• 实验目的

数据集stock-daily，包含A股近4000只股票的最近30个交易日的日数据，根据此数据实现股票风险监测统计：统计和输出股票代码和风险值

数据来源：https://www.joinquant.com/help/api/help?name=JQData

风险值统计方法：

    1. 忽略股票停牌当日数据

    2. 忽略N/A数据行

 

• 实验内容

    1、打开IntelliJ或Eclipse创建Maven项目；

2、参考WordCount示例代码编写本实验代码；

3、基本代码逻辑：

Map

输入：一行数据（一只股票的日数据）

处理：使用 \t 将字符串split成数组，提取需要计算的值，并转为浮点数

输出：<股票代码, 股票当日下行指数>

      遇到无效数据不输出(停牌股票或有N/A数据无法提取为浮点数)

Reduce：

输入：<股票代码，[股票每日下行指数]>

处理：计算均值

输出：<股票代码，股票下行指数>

• 实验步骤

 代码粘贴此处：

package org.example;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MapReduceApp extends Configured implements Tool {

    public static void main(String[] args) throws Exception {
        int res = ToolRunner.run(new MapReduceApp(), args);
        System.exit(res);
    }

    // 执行
    public int run(String[] args) throws Exception {
        Configuration conf = new Configuration();

        // 创建作业
        Job job = Job.getInstance(conf, "StockDownIndex");

        // 指定作业的主类
        job.setJarByClass(MapReduceApp.class);

        // 指定Map和Reduce类
        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        // 指定Map输出键值对类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(FloatWritable.class);

        // 指定Reduce输出键值对类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(FloatWritable.class);

        // 指定输入格式为：文本格式文件
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job, new Path(args[0]));

        // 指定输出格式为：文本格式文件
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job, new Path(args[1]));

        // 执行MapReduce
        boolean success = job.waitForCompletion(true);
        return success ? 0 : 1;
    }

    // Map过程
    public static class Map extends Mapper<Object, Text, Text, FloatWritable> {
        private Text stockCode = new Text();
        private FloatWritable stockDownIndex = new FloatWritable();

        @Override
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            String[] fields = line.split("\t");

            // 检查数据长度是否正确
            if (fields.length >= 14) {
                String code = fields[0];
                String paused = fields[12];
                String close = fields[3];
                String low = fields[5];

                // 检查是否为有效数据
                if (!paused.equals("true") && !close.equals("N/A") && !low.equals("N/A")) {
                    try {
                        float closePrice = Float.parseFloat(close);
                        float lowPrice = Float.parseFloat(low);
                        float downIndex = (closePrice - lowPrice) / closePrice;

                        stockCode.set(code);
                        stockDownIndex.set(downIndex);

                        // 输出键值对
                        context.write(stockCode, stockDownIndex);
                    } catch (NumberFormatException e) {
                        // 数据格式转换失败，不输出
                    }
                }
            }
        }
    }

    // Reduce过程
    public static class Reduce extends Reducer<Text, FloatWritable, Text, FloatWritable> {
        private FloatWritable result = new FloatWritable();

        @Override
        public void reduce(Text key, Iterable<FloatWritable> values, Context context)
                throws IOException, InterruptedException {
            List<Float> downIndices = new ArrayList<>();

            // 将每只股票的下行指数添加到列表中
            for (FloatWritable value : values) {
                downIndices.add(value.get());
            }

            // 计算均值
            float sum = 0.0f;
            for (Float index : downIndices) {
                sum += index;
            }
            float avg = sum / downIndices.size();

            result.set(avg);

            // 输出键值对
            context.write(key, result);
        }
    }
}

四、实验结果

      试验运行过程及结果

新建Marven项目：

 

pom.xml文件内容:

 

运行一遍生成target：

 

打包jar文件（在out里面）：

 

 

通过Xshell上传文件WordCount.jar与CountDaily：（实际上我的WordCount.jar无法运行，因此上传实际文件为MapReduceApp.jar,此处只演示上传成功的样例，我的hadoop01地址恒定为192.168.204.131）

 

上传后：

 

 

执行hadoop jar ~/MapReduceApp.jar /stock-daily /result1命令：

 

执行之后的加载项：

 

 

 

进入生成的result1中的part- r-00000:

 

内容为(生成数据较多，截取部分）：

 

 

 

50070端口：

 

 

 

8088端口：

 

此时实验圆满完成。

五、实验体会

在运行WordCount.jar的过程中发现报错：Exception in thread “main“ java.lang.ClassNotFoundException:.................................................................................................................等一长串问题（忘截图了），实际是因为我的目录结构为/cn/edu/swpu/scs，与实际的org/example不符合。

于是重新编写java代码并打包为2份jar文件：WordCountApp.jar ,MapReduceApp.jar

其中WordCountApp.jar 报错：

 

实在是不知道该如何改数组越界问题，于是再改了一份Java代码，也就是最终的MapReduceApp.jar了。虽然该数据生成数据比较多，但却是第一个能好好运行的代码，这几次失败告诉我在配置hadoop时一定要细心再细心。