hadoop模仿生成新能源车辆数据

一、基本要求

二、准备虚拟机

1.什么是虚拟机？

2.虚拟机和Hadoop有什么联系？

三、安装和配置Hadoop和HDFS

1.下载Hadoop

2.解压缩Hadoop

3.配置环境变量

4.配置Hadoop

5.配置HDFS

6.配置节点

7.格式化HDFS

8.启动Hadoop

9.验证安装

​四、安装Python库

五、生成新能源车辆数据并写入文件

1.导入所需的库

2. 生成数据

3.将数据写入到文件

4. 获取文件大小

5. 获取文件名

6.获取文件路径

7.生成数据并写入文件

六、将数据写入HDFS

生成新能源车辆数据并写入文件
1.导入所需的库
import json
import random
import time
import os
代码导入了四个Python标准库模块：json、random、time和os。
json：模块用于处理JSON（JavaScript Object Notation）格式的数据。它提供了一组用于编码和解码JSON数据的函数和类。通过使用json模块，可以将Python对象转换为JSON格式的字符串，或将JSON格式的字符串转换为Python对象。
random：模块用于生成随机数。它提供了一组用于生成随机数的函数和类。通过使用random模块，可以生成随机整数、随机浮点数、随机选择列表中的元素等。
time：模块用于处理时间。它提供了一组用于获取当前时间、计时等操作的函数和类。通过使用time模块。可以获取当前时间戳、将时间戳转换为日期时间对象、进行时间延迟等。
os：模块用于与操作系统进行交互。它提供了一组用于执行操作系统相关操作的函数和类。通过使用os模块，可以获取当前工作目录、创建和删除目录、执行系统命令等。
2. 生成数据

生成车架号

def generate_vin():
vin = ‘’
for i in range(17):
vin += random.choice(‘0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ’)
return vin

生成车辆状态

def generate_vehicle_status():
vehicle_status = [‘run’, ‘stop’, ‘charging’]
return random.choice(vehicle_status)

生成充电状态

def generate_charge_status():
charge_status = [‘not charged’, ‘charging’, ‘charge complete’]
return random.choice(charge_status)

生成SOC低报警

def generate_soc_warning():
soc_warning = [‘normal’, ‘Less than 20%’, ‘Less than 10%’]
return random.choice(soc_warning)

生成数据

def generate_data():
data = {}
data[‘vin’] = generate_vin()
data[‘mileage’] = round(random.uniform(0, 100000), 2)
data[‘speed’] = round(random.uniform(0, 120), 2)
data[‘vehicle_status’] = generate_vehicle_status()
data[‘charge_status’]