多优化目标融合模型特征工程设计

最新推荐文章于 2025-02-25 11:23:07 发布
最新推荐文章于 2025-02-25 11:23:07 发布
阅读量518 收藏
点赞数
分类专栏： 实践笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy0707ok/article/details/85084436
版权

实践笔记

简介
今天来说说最近遇到的一个问题，首先介绍下整体的算法框架。基本就是最基础的特征工程加LR来解决CVR预估问题，训练数据经过特征工程提取并拼接出合理的特征，然后让LR训练得到合适的特征及其权重，虽然看上去很傻，但是很适合处理业界上亿级别的特征问题。最近遇到的问题是如何在一个模型里面同时优化两个目标，类似于同时优化CVR_x,CVR_y，即二分类的LR的正例里面在细分出多个类别，就是CVR_x， CVR_y都是CVR，但是希望从一个模型得到CVR_x和CVR_y分别的预估值。一个简单的方法是把通常用来二分类的lr算法转变为多分类的目标算法，这个就不谈了，选择比较多；其次就是使用特征工程来解决问题，我这里就主要说说这个方法

分析
假设正例（CVR）由两个互斥的分类（CVR_x和CVR_y），因为要用一个模型得到两个分类的预估值，那么模型就必须包含两套特征，分别对应两个类别，那么在预估时只要选择各个分类对应的特征权重就好，因此可以把原有模型（即只有一个正例类别的模型）的特征和正例类别在做一次交叉特征，那么在训练时各个分类的数据将只会有对应分类的特征出现，另外的正例类型对应的特征将不会出现，在做迭代时将会有多个下降方向，只不过互不影响罢了，这样就可以简单的解决多优化目标模型的设计问题。当然，除非各个目标使用完全相同的特征，否则写出的脚本很笨重

【进阶版】机器学习之特征工程介绍及优化方法引入（03）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-22 828
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
融合多种特征的推荐模型 逻辑回归模型与GBDT+LR
zhao254014的博客
08-11 2260
适合处理海量id类特征、自动进行多维度的特征组合的过程
你想知道的特征工程，机器学习优化方法都在这了！收藏！
mantch
07-27 1228
文章目录1. 特征工程有哪些？1.1 特征归一化1.2 类别型特征1.3 高维组合特征的处理1.4 文本表示模型1.5 其它特征工程1.6 特征工程脑图2. 机器学习优化方法2.1 机器学习常用损失函数2.2 什么是凸优化2.3 正则化项2.4 常见的几种最优化方法3. 机器学习评估方法3.1 准确率(Accuracy)3.2 精确率（Precision）3.3 召回率(Recall)3.4 F1...
特征工程优化
LucyLuo2020的博客
10-27 177
特征工程是将数据转换为能够更好地表示潜在问题的特征，从而提高机器学习性能的过程。使用场景：任何阶段得到数据。优点：更好地表示潜在问题，提高性能。缺点：特征找的不准备导致模型效果不好。特征工程复杂，需对数据十分了解，先总体分析再逐个分析特征比较节约时间。对单个特征和多个特征进行分析，然后从中找到不同特征之间或与目标特征的相关性，再进行筛选，得到的有效特征的概率会大一些。分析完后需对每个特征进行处理，如缺失值和异常值处理、归一化处理等等。总之，如果特征工程处理的很好，模型结果也会相对好一些。
神联动：交叉注意力＋特征融合！一区大门轻松开！
Aimoxin111的博客
02-25 1531
多模态交叉注意力网络（MMCA）：提出了一种新的网络架构，通过联合建模图像区域和句子单词的内模态（intra-modality）和跨模态（inter-modality）关系，实现图像和句子的匹配。在MSRS数据集上，AG指标达到4.6872，提升了0.5个单位。双交叉注意力Transformer：提出了一种新的特征融合框架，通过查询引导的交叉注意力机制，同时建模全局特征交互和跨模态的互补信息。跨模态注意力机制：提出了一种新的交叉注意力机制，能够同时利用内模态和跨模态信息，增强了图像和句子匹配的特征表示。
【机器学习】Sklearn特征工程构建与优化
brucewong0516的博客
12-10 612
特征工程的构建与优化，处理缺失值以及归一化。
慕了！靠多模态特征融合就发了CCF-A！模型性能飙升了94.4％！
强化学习曾小健
10-28 683
FusionMamba通过设计一个改进的高效Mamba模型，集成动态卷积和通道注意力，保持了Mamba的全局建模能力，并减少了通道冗余，同时增强了局部特征提取能力。本文提出了一种用于多模态步态识别的多阶段自适应特征融合神经网络（MSAFF），该网络通过多阶段特征融合策略（MSFFS）和自适应特征融合模块（AFFM）来充分利用轮廓和骨架数据的互补优势。，由于整合了多种模态的信息，不仅能提高模型的准确性，还使模型能够更好地应对数据缺失、噪声等问题，增强鲁棒性和泛化能力！2024年10月28日 00:00。
基于克里金模型代理与MOEA-D多目标优化算法案例研究：解析代理模型与多目标优化算法的深度融合,基于克里金模型代理与MOEA-D多目标优化算法案例：提升多目标优化问题的决策效能与优化过程管理,代理模型
02-11
案例研究表明，基于克里金模型代理的MOEA-D算法，在处理工程设计、环境规划、资源管理等领域的多目标优化问题时，表现出色。例如，在工程设计领域，通过这种方法可以同时考虑成本、耐用性和安全性等多个目标，为设计...
Matlab实现PSO-BiLSTM-Attention粒子群算法优化双向长短期记忆神经网络融合注意力机制多特征分类预测（含完整的程序，GUI设计和代码详解）
12-17
内容概要：本文介绍了使用MATLAB实现PSO-BiLSTM-Attention粒子群优化双向长短期记忆神经网络融合注意力机制的多特征分类预测模型。通过PSO优化BiLSTM模型的超参数、引入注意力机制增强模型的特征提取能力，提升了多...
Matlab实现PSO-LSTM-Attention粒子群算法优化长短期记忆神经网络融合注意力机制多特征分类预测（含模型描述及示例代码）
03-08
内容概要：本文介绍了使用Matlab实现PSO-LSTM-Attention模型，即采用粒子群优化（PSO）算法优化长短期记忆网络（LSTM），并在其中融入注意力机制（Attention Mechanism）以实现多特征分类预测的方法。通过对PSO优化...
Matlab实现TSOA-CNN-GRU-Mutilhead-Attention凌日优化算法优化卷积门控循环单元融合多头注意力机制多特征分类预测（含模型描述及示例代码）
最新发布
03-24
内容概要：本文详细介绍了一种创新性的深度学习模型——TSOA-CNN-GRU-Multihead-Attention，适用于处理多特征时序数据。该项目基于凌日优化算法（TSOA）对传统的卷积神经网络（CNN）、门控循环单元（GRU）以及多头...
传动轴多目标可靠性优化设计
07-02
本文介绍的“传动轴多目标可靠性优化设计”正是针对这类需求，融合了现代优化技术和可靠性理论，提出了一种更为科学的设计方法。 在设计优化的过程中，工程师首先需要建立一个能够反映传动轴工作特性的数学模型。这...
基于DS证据的信息融合算法多指标融合_程华
05-21
在雷达跟踪中,算法方案的综合评价可通过 DS 证据理论进行多属性融合。而在实际应 用中存在部分指标缺失等问题,导致证据间出现高冲突,使得原始 DS 证据合成方法失效。在分析 了多指标融合中由于3 类信息不完整而导致的高冲突证据后, 提出了将算法方案的综合评价作为 群体证据,把单个证据与群体证据之间的模糊距离作为证据融合权重,基于权重改进 DS 证据合成 方法,解决了高冲突证据下的多属性融合。实验结果表明基于群体证据模糊距离的 DS 证据合成 方法可以较好地解决雷达跟踪中算法方案综合评价问题。
多特征融合目标跟踪程序
04-19
本程序是多特征融合的目标跟踪程序，基于粒子滤波框架，融合边缘和TED特征的跟踪算法，可以运行程序，适合用于对多特征融合的学习
多模态特征融合方法总结
热门推荐
华辰烟雨的博客
06-20 8万+
由于本人的研究是文本、语音和图像三者模态数据的融合，所以针对的是这三种模态的特征融合方法进行总结。 首先，多模态特征融合的方法大体分为三种
【计算机视觉】特征融合12种经典魔改方法汇总，附配套模型和代码
wzk4869的博客
12-02 1万+
【计算机视觉】特征融合12种经典魔改方法汇总，附配套模型和代码
目标融合之 ——并查集(Disjoint Sets)||(Union Find Sets)
年轻即出发，
08-01 5147
理论基础：        并查集是一种树型的数据结构，用于处理一些不相交集合（DisjointSets也叫Union Find）的合并及查询问题。常常在使用中以森林来表示。初始化时，每个元素都是一棵独立的树，合并过程中将具有某种关联关系的树进行合并，即指向规定的一个父节点，最后进行查找过程，判断2个节点是否属于同一个父亲节点，即2个节点是否有联系。 应用背景：        在人脸检测，
特征融合魔改，看这一篇就够了
m0_73122726的博客
09-20 3037
本文提出了一种迭代表示细化方法，称为渐进融合，该方法缓解了后期融合表示的问题，并引入了反向连接，使后期融合表示可用于早期层，从而提高了这些阶段的表示表达能力，同时保留了后期融合设计的优点。1）借鉴了过去的大多数多模态方法要么通过将不同模式的特征投影到同一空间来工作，要么通过使用约束来协调每种模式的表示两种观点，提出了一种新的多模态融合方法。2）为了学习更全面的表示，并避免对多个伪标签的模糊学习，我们设计了一个可学习的融合模块(FM)，该模块专注于全局特征中的细粒度局部信息。
【2】图像分割 -- 特征融合经典模块汇总
weixin_44505185的博客
09-21 4878
特征融合
模型融合与多目标优化
01-23
### 关于模型融合 在机器学习和深度学习领域，模型融合是一种有效提升预测性能的技术。模型融合旨在通过组合多个基础模型的结果来获得更优的整体表现。常见的模型融合策略包括平均法、投票法以及堆叠泛化等[^1]。 #### 平均法 对于回归问题而言，可以通过简单地计算各独立训练得到的基础估计器输出值的算术平均数作为最终预测结果；而对于分类任务，则是对概率分布做相应处理后再求期望类别标签。 #### 投票法 针对分类场景下的一种集成方式，在此过程中每个单独子模型给出自己的分类决策，之后统计各类别的得票数量并选取最高者为最后判定结论。 #### 堆叠泛化(Stacking) 这是一种更为复杂的元学习框架下的混合机制，它允许利用另一个更高层次的学习器基于初级成员产生的中间表示来进行二次建模过程，从而实现更加灵活高效的综合效果评估体系构建[^2]。 ### 多目标优化的概念与方法 多目标优化是指当存在两个以上相互冲突的目标函数时寻求最优解的过程。这类问题广泛存在于工程设计、经济规划等领域之中。解决此类难题常用的方法有： - **加权求和法**：给定一组权重系数w_i, 将各个单个指标线性组合成一个新的单一评价标准f(x)=Σ(w_ifi)，进而转化为常规意义上的最优化求极值操作； - **ε约束法**: 选定其中一个关键属性作为主要考量维度而把其余条件设定为限定范围内的阈值边界，以此简化原命题结构便于后续分析处理; - **Pareto前沿面搜索算法(PMO)** : 寻找能够使得所有目标都尽可能好的非支配解集合即帕累托最优集，代表性的进化型寻优手段如NSGA-II已被证明非常适用于高维复杂环境下的快速收敛定位优质候选方案群组. ```python from pymoo.algorithms.moo.nsga2 import NSGA2 from pymoo.optimize import minimize from pymoo.problems.multi import ZDT1 import numpy as np problem = ZDT1() algorithm = NSGA2(pop_size=100) res = minimize(problem, algorithm, ('n_gen', 200), seed=1, verbose=False) print("Best solution found: \nX = %s\nF = %s" % (res.X, res.F)) ``` ### 应用实例 在实际应用场景中，模型融合技术和多目标优化理论得到了广泛应用。例如，在自动驾驶汽车的研发过程中，为了提高车辆行驶的安全性和舒适度这两个对立却又至关重要的方面，工程师们会采用上述提到的各种技术相结合的方式来调校感知系统参数配置，确保既能及时响应突发状况又能维持平稳舒适的驾乘体验。同时，在金融风险控制领域内，银行机构也会借助类似的思路对信贷审批流程实施精细化管理，力求平衡收益增长同违约损失之间的关系，达到最佳经济效益和社会责任履行的目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值