- 实验目的
数据集stock-daily,包含A股近4000只股票的最近30个交易日的日数据,根据此数据实现股票风险监测统计:统计和输出股票代码和风险值
数据来源:https://www.joinquant.com/help/api/help?name=JQData
风险值统计方法:
1. 忽略股票停牌当日数据
2. 忽略N/A数据行
- 实验内容
1、打开IntelliJ或Eclipse创建Maven项目;
2、参考WordCount示例代码编写本实验代码;
3、基本代码逻辑:
Map
输入:一行数据(一只股票的日数据)
处理:使用 \t 将字符串split成数组,提取需要计算的值,并转为浮点数
输出:<股票代码, 股票当日下行指数>
遇到无效数据不输出(停牌股票或有N/A数据无法提取为浮点数)
Reduce:
输入:<股票代码,[股票每日下行指数]>
处理:计算均值
输出:<股票代码,股票下行指数>
- 实验步骤
代码粘贴此处:
package org.example; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.FloatWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class MapReduceApp extends Configured implements Tool { public static void main(String[] args) throws Exception { int res = ToolRunner.run(new MapReduceApp(), args); System.exit(res); } // 执行 public int run(String[] args) throws Exception { Configuration conf = new Configuration(); // 创建作业 Job job = Job.getInstance(conf, "StockDownIndex"); // 指定作业的主类 job.setJarByClass(MapReduceApp.class); // 指定Map和Reduce类 job.setMapperClass(Map.class); job.setReducerClass(Reduce.class); // 指定Map输出键值对类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(FloatWritable.class); // 指定Reduce输出键值对类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(FloatWritable.class); // 指定输入格式为:文本格式文件 job.setInputFormatClass(TextInputFormat.class); TextInputFormat.addInputPath(job, new Path(args[0])); // 指定输出格式为:文本格式文件 job.setOutputFormatClass(TextOutputFormat.class); TextOutputFormat.setOutputPath(job, new Path(args[1])); // 执行MapReduce boolean success = job.waitForCompletion(true); return success ? 0 : 1; } // Map过程 public static class Map extends Mapper<Object, Text, Text, FloatWritable> { private Text stockCode = new Text(); private FloatWritable stockDownIndex = new FloatWritable(); @Override public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] fields = line.split("\t"); // 检查数据长度是否正确 if (fields.length >= 14) { String code = fields[0]; String paused = fields[12]; String close = fields[3]; String low = fields[5]; // 检查是否为有效数据 if (!paused.equals("true") && !close.equals("N/A") && !low.equals("N/A")) { try { float closePrice = Float.parseFloat(close); float lowPrice = Float.parseFloat(low); float downIndex = (closePrice - lowPrice) / closePrice; stockCode.set(code); stockDownIndex.set(downIndex); // 输出键值对 context.write(stockCode, stockDownIndex); } catch (NumberFormatException e) { // 数据格式转换失败,不输出 } } } } } // Reduce过程 public static class Reduce extends Reducer<Text, FloatWritable, Text, FloatWritable> { private FloatWritable result = new FloatWritable(); @Override public void reduce(Text key, Iterable<FloatWritable> values, Context context) throws IOException, InterruptedException { List<Float> downIndices = new ArrayList<>(); // 将每只股票的下行指数添加到列表中 for (FloatWritable value : values) { downIndices.add(value.get()); } // 计算均值 float sum = 0.0f; for (Float index : downIndices) { sum += index; } float avg = sum / downIndices.size(); result.set(avg); // 输出键值对 context.write(key, result); } } }
四、实验结果
试验运行过程及结果
新建Marven项目:
pom.xml文件内容:
运行一遍生成target:
打包jar文件(在out里面):
通过Xshell上传文件WordCount.jar与CountDaily:(实际上我的WordCount.jar无法运行,因此上传实际文件为MapReduceApp.jar,此处只演示上传成功的样例,我的hadoop01地址恒定为192.168.204.131)
上传后:
执行hadoop jar ~/MapReduceApp.jar /stock-daily /result1命令:
执行之后的加载项:
进入生成的result1中的part- r-00000:
内容为(生成数据较多,截取部分):
50070端口:
8088端口:
此时实验圆满完成。
五、实验体会
在运行WordCount.jar的过程中发现报错:Exception in thread “main“ java.lang.ClassNotFoundException:.................................................................................................................等一长串问题(忘截图了),实际是因为我的目录结构为/cn/edu/swpu/scs,与实际的org/example不符合。
于是重新编写java代码并打包为2份jar文件:WordCountApp.jar ,MapReduceApp.jar
其中WordCountApp.jar 报错:
实在是不知道该如何改数组越界问题,于是再改了一份Java代码,也就是最终的MapReduceApp.jar了。虽然该数据生成数据比较多,但却是第一个能好好运行的代码,这几次失败告诉我在配置hadoop时一定要细心再细心。