Part 1：baseline代码个人解析
baseline源代码展示：
# 1. 导入需要用到的相关库
# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np
# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('./data/data283931/train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'train.csv'
test = pd.read_csv('./data/data283931/test.csv')
# 3. 计算训练数据最近11-20单位时间内对应id的目标均值
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()
# 4. 将target_mean作为测试集结果进行合并
test = test.merge(target_mean, on=['id'], how='left')
# 5. 保存结果文件到本地
test[['id','dt','target']].to_csv('submit.csv', index=None)接下来我详细解释一下第三部分
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()其中train[train['dt']<=20]从 train DataFrame 中筛选出 dt 列值小于等于20的所有行，即筛选dt为11-20的训练集。
接着.groupby(['id'])这部分代码将筛选后的数据按 id 列进行分组。每个 id 代表一组,实际上观察训练集得知dt为11-20的都是一个id
接着['target'].mean()意味着计算 target 列的均值
最后.reset_index()重置分组后的结果索引，将结果转换为一个新的 DataFrame，其中 id 列恢复为 DataFrame 的列。
个人体会：
本质上就是利用上阶段平均值来预测下个阶段每个id对应的消耗量，利用的是取平均的思想。这是最基础的一种解题思路，基本上只要学过数学的人都能理解的。
Part 2：入门lightgbm，开始特征工程
2.1 使用数据集绘制柱状图
不同type类型对应target的柱状图
源代码：
import matplotlib.pyplot as plt
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()其中plt是python做图的库
然后下面就是按照type然后利用target的平均值来分组
type_target_df = train.groupby('type')['target'].mean().reset_index()后面就是按照plt的规则输入x，y轴的坐标系等等细节
好处：能够可视化看到数据的初步现象，我们将发现随着type增加，target也随着增加，但整体呈现波浪式
2.2 使用时间序列数据构建历史平移特征和窗口统计特征
2.2.1 历史平移特征
定义： 历史平移特征是指通过将时间序列数据中的值向前或向后平移若干个时间步得到的特征。通常用于捕捉过去某个时间点的数据对当前数据的影响。
示例代码：
for i in range(1, 11):
data[f'lag_{i}'] = data['target'].shift(i)
2.2.2 窗口统计特征
定义： 窗口统计特征是指在一个固定的时间窗口内，对该窗口内的时间序列数据进行统计计算得到的特征。常见的统计量包括平均值、标准差、最小值、最大值、中位数等。
示例代码：
# 窗口统计特征 - 7天窗口的平均值
data['win3_mean_target'] = (
data['last10_target'] + data['last11_target'] + data['last12_target'] +
data['last13_target'] + data['last14_target'] + data['last15_target'] +
data['last16_target']
) / 7
2.3 使用lightgbm模型进行训练并预测
LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
LightGBM 框架中还包括随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。
例如：在个性化商品推荐场景中，通常需要做点击预估模型。使用用户过往的行为（点击、曝光未点击、购买等）作为训练数据，来预测用户点击或购买的概率。根据用户行为和用户属性提取一些特征，包括：
-
类别特征（Categorical Feature）：字符串类型，如性别（男/女）。
-
物品类型：服饰、玩具和电子等。
-
数值特征（Numrical Feature）：整型或浮点型，如用户活跃度或商品价格等。
代码部分：
trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']上面是将最近dt=11-30的数据作为测试集，大于30作为训练集
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'regression',
'metric': 'mse',
'min_child_weight': 5,
'num_leaves': 2 ** 5,
'lambda_l2': 10,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 4,
'learning_rate': 0.05,
'seed': 2024,
'nthread' : 16,
'verbose' : -1,
}上面为lightgbm参数设置
model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix],
categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)上面为训练模型，注意要选版本为3.3.5的lightgbm，用更高版本的lightgbm有可能会显示没有verbose_eval的输入数据
完整程序源代码：
# 1. 导入需要用到的相关库
import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')
# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('C:/Users/ZWZ/Downloads/dataset/dataset/train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'train.csv'
test = pd.read_csv('C:/Users/ZWZ/Downloads/dataset/dataset/test.csv')
# 合并训练数据和测试数据，并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id', 'dt'], ascending=False).reset_index(drop=True)
# 历史平移
for i in range(10, 30):
data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target'] + data[
'last13_target'] + data['last14_target'] + data['last15_target'] + data['last16_target']) / 7
data['win3_std_target'] = data[['last10_target', 'last11_target', 'last12_target', 'last13_target', 'last14_target', 'last15_target', 'last16_target']].std(axis=1)
data['win3_min_target'] = data[['last10_target', 'last11_target', 'last12_target', 'last13_target', 'last14_target', 'last15_target', 'last16_target']].min(axis=1)
data['win3_max_target'] = data[['last10_target', 'last11_target', 'last12_target', 'last13_target', 'last14_target', 'last15_target', 'last16_target']].max(axis=1)
data['win3_median_target'] = data[['last10_target', 'last11_target', 'last12_target', 'last13_target', 'last14_target', 'last15_target', 'last16_target']].median(axis=1)
# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)
# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id', 'target']]
def time_model(lgb, train_df, test_df, cols):
# 训练集和验证集切分
trn_x, trn_y = train_df[train_df.dt >= 31][cols], train_df[train_df.dt >= 31]['target']
val_x, val_y = train_df[train_df.dt <= 30][cols], train_df[train_df.dt <= 30]['target']
# 构建模型输入数据
train_matrix = lgb.Dataset(trn_x, label=trn_y)
valid_matrix = lgb.Dataset(val_x, label=val_y)
# lightgbm参数
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'regression',
'metric': 'mse',
'min_child_weight': 5,
'num_leaves': 2 ** 5 ,
'lambda_l2': 10,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 4,
'learning_rate': 0.05,
'seed': 2024,
'nthread': 16,
'verbose': -1,
}
# 训练模型
model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix],
categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
# 验证集和测试集结果预测
val_pred = model.predict(val_x, num_iteration=model.best_iteration)
test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
# 离线分数评估
score = mean_squared_error(val_pred, val_y)
print(score)
return val_pred, test_pred
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)
# 保存结果文件到本地
test['target'] = lgb_test
test[['id', 'dt', 'target']].to_csv('submit.csv', index=None)补充：相比于给的教学代码，我尝试着增加更多的窗口统计特征，除了平均值，还可以计算其他统计量，比如标准差、最小值、最大值、中位数等。
结果输出：
提交后的分数：
2.4 个人体会
通过task2的学习我感受到了不同模型带来的效果提升，然后可以通过添加特征值或者修改lightgbm的参数来提高拟合效果。
扫一扫
159
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
