- 博客(5)
- 收藏
- 关注
RSS订阅原创 pyspark.sql.utils.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException
这里的schema_of_res不在res中字段，并且hive中没有这个表。用pyspark写入hive的时候报错，通常是少字段，
2024-03-28 16:49:28
524
1
原创 Task5模型融合
5.1 模型融合目标 对于多种调参完成的模型进行模型融合。 完成对于多种模型的融合，提交融合结果并打卡 5.2 内容介绍 模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。 简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）； 分类：投票（Voting) 综合：排序融合(Rank averaging)，lo...
2020-04-04 21:42:09
133
原创 Task4 建模调参
线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型； 模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序列问题的验证； 绘制学习率曲线； 绘制验证曲线； 嵌入式特征选择： Lasso回归； Ridge回归； 决策树； 模型对比： 常用线性模型； 常用非线性模型； 模型调参：...
2020-04-01 19:21:02
408
原创 Task3特征工程
特征工程是什么 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征工程常见方法 常见的特征工程包括： 1、异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 2、特征归...
2020-03-28 14:52:47
155
原创 二手车交易赛题理解&EDA
赛题理解 读入数据后，.head()可以查看数据的前几行，从而观察数据大致的样子； 不同问题有不同的评价指标，有的可以通过调用第三方库如sklearn，有的则需要自己实现。本地线下有一个明确的指标很重要，因为线上的提交、测试往往都有限制。 EDA EDA的目标： EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使...
2020-03-24 21:25:15
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人