多优化目标融合模型特征工程设计

实践笔记

简介
今天来说说最近遇到的一个问题,首先介绍下整体的算法框架。基本就是最基础的特征工程加LR来解决CVR预估问题,训练数据经过特征工程提取并拼接出合理的特征,然后让LR训练得到合适的特征及其权重,虽然看上去很傻,但是很适合处理业界上亿级别的特征问题。最近遇到的问题是如何在一个模型里面同时优化两个目标,类似于同时优化CVR_x,CVR_y,即二分类的LR的正例里面在细分出多个类别,就是CVR_x, CVR_y都是CVR,但是希望从一个模型得到CVR_x和CVR_y分别的预估值。一个简单的方法是把通常用来二分类的lr算法转变为多分类的目标算法,这个就不谈了,选择比较多;其次就是使用特征工程来解决问题,我这里就主要说说这个方法

分析
假设正例(CVR)由两个互斥的分类(CVR_x和CVR_y),因为要用一个模型得到两个分类的预估值,那么模型就必须包含两套特征,分别对应两个类别,那么在预估时只要选择各个分类对应的特征权重就好,因此可以把原有模型(即只有一个正例类别的模型)的特征和正例类别在做一次交叉特征,那么在训练时各个分类的数据将只会有对应分类的特征出现,另外的正例类型对应的特征将不会出现,在做迭代时将会有多个下降方向,只不过互不影响罢了,这样就可以简单的解决多优化目标模型的设计问题。当然,除非各个目标使用完全相同的特征,否则写出的脚本很笨重

### 关于模型融合 在机器学习和深度学习领域,模型融合是一种有效提升预测性能的技术。模型融合旨在通过组合个基础模型的结果来获得更优的整体表现。常见的模型融合策略包括平均法、投票法以及堆叠泛化等[^1]。 #### 平均法 对于回归问题而言,可以通过简单地计算各独立训练得到的基础估计器输出值的算术平均数作为最终预测结果;而对于分类任务,则是对概率分布做相应处理后再求期望类别标签。 #### 投票法 针对分类场景下的一种集成方式,在此过程中每个单独子模型给出自己的分类决策,之后统计各类别的得票数量并选取最高者为最后判定结论。 #### 堆叠泛化(Stacking) 这是一种更为复杂的元学习框架下的混合机制,它允许利用另一个更高层次的学习器基于初级成员产生的中间表示来进行二次建模过程,从而实现更加灵活高效的综合效果评估体系构建[^2]。 ### 目标优化的概念与方法 目标优化是指当存在两个以上相互冲突的目标函数时寻求最优解的过程。这类问题广泛存在于工程设计、经济规划等领域之中。解决此类难题常用的方法有: - **加权求和法**:给定一组权重系数w_i, 将各个单个指标线性组合成一个新的单一评价标准f(x)=Σ(w_ifi),进而转化为常规意义上的最优化求极值操作; - **ε约束法**: 选定其中一个关键属性作为主要考量维度而把其余条件设定为限定范围内的阈值边界,以此简化原命题结构便于后续分析处理; - **Pareto前沿面搜索算法(PMO)** : 寻找能够使得所有目标都尽可能好的非支配解集合即帕累托最优集,代表性的进化型寻优手段如NSGA-II已被证明非常适用于高维复杂环境下的快速收敛定位优质候选方案群组. ```python from pymoo.algorithms.moo.nsga2 import NSGA2 from pymoo.optimize import minimize from pymoo.problems.multi import ZDT1 import numpy as np problem = ZDT1() algorithm = NSGA2(pop_size=100) res = minimize(problem, algorithm, ('n_gen', 200), seed=1, verbose=False) print("Best solution found: \nX = %s\nF = %s" % (res.X, res.F)) ``` ### 应用实例 在实际应用场景中,模型融合技术和目标优化理论得到了广泛应用。例如,在自动驾驶汽车的研发过程中,为了提高车辆行驶的安全性和舒适度这两个对立却又至关重要的方面,工程师们会采用上述提到的各种技术相结合的方式来调校感知系统参数配置,确保既能及时响应突发状况又能维持平稳舒适的驾乘体验。同时,在金融风险控制领域内,银行机构也会借助类似的思路对信贷审批流程实施精细化管理,力求平衡收益增长同违约损失之间的关系,达到最佳经济效益和社会责任履行的目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值