Datawhale 夏令营 机器学习 笔记1

• Datawhale 夏令营 机器学习 笔记1

  • 比赛题目

    • 给定多个房屋对应电力消耗历史N天的相关序列数据等信息，预测房屋对应电力的消耗

  • 评审规则

    • 数据说明

      • 赛题数据由训练集和测试集组成，为了保证比赛的公平性，将每日日期进行脱敏，用1-N进行标识，即1为数据集最近一天，其中1-10为测试集数据。数据集由字段id（房屋id）、 dt（日标识）、type（房屋类型）、target（实际电力消耗）组成。

    • 评审规则

• • 作品提交流程

    • 配置环境

      • 在百度飞桨https://aistudio.baidu.com/projectdetail/8151133中打开项目

      • 在项目大厅页面，右上角点击运行一下，运行项目

      • 运行后，点击启动环境，启动运行模型所需的环境

    • 运行模型

      • 查看或修改main.ipynb代码，优化模型

      • 点击运行全部cell按钮，运行模型，生成结果(submit.csv文件)

      • 将submit.csv下载保存到本地

    • 提交结果

      • 在https://challenge.xfyun.cn/h5/detail?type=electricity-demand&ch=dw24_uGS8Gs竞赛页面，上传submit.csv文件，提交结果，更新分数

  • baseline代码

# 1. 导入需要用到的相关库
# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np

# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'test.csv'
test = pd.read_csv('test.csv')

# 3. 计算训练数据最近11-20单位时间内对应id的目标均值
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()

# 4. 将target_mean作为测试集结果进行合并
test = test.merge(target_mean, on=['id'], how='left')

# 5. 保存结果文件到本地
test[['id','dt','target']].to_csv('submit.csv', index=None)

调试记录：

2024.7.14

看了train和test数据集，发现以下特征：

房屋数量：共有5832个不同的房屋id

trian数据集中日期数量：大部分房屋都有496天左右的数据，部分房屋日期数据不全，例如某房屋只有210天的数据，

通过分析代码，代码求的是最近10天各房屋用电量的平均值，以该平均值作为测试数据的预测值，最终得分373分

于是我想，如果求496天的各房屋用电量的平均值作为预测值会不会更准，最终提交以后，得分624分，惨败

原因分析：猜测各房屋的历史用电数据应该有一定波动，且是连续平滑变化的，即最近10天用电数据可能跟最近第11-20天用电数据比较接近，所以用第11-20天用电数据的均值相对比较准确，而整个496天平均值会离最近10天的用电量可能会比较远，导致分数提高了。