Adaptive Mixtures of Local Experts 阅读

最新推荐文章于 2023-11-13 09:14:47 发布
最新推荐文章于 2023-11-13 09:14:47 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouwenyuan1015/article/details/104781920
版权

Adaptive Mixtures of Local Experts
背景
将多个场景不同任务进行分割，通过不同的experts进行预测。

第一次大概读到的，后面还需要读：

  1. 以前版本，多个experts预测后，基于experts的统计概率进行线性加和。这样缺点是，一个experts的统计概率发生变化，其他的也会变化。 即，多个experts需要互相配合。
    在这里插入图片描述
    其中，d是期望向量， p是某experts的统计概率， o是该experts输出向量
  2. 现在，让一个experts负责一个task.减少experts之间的影响。误差函数：
    在这里插入图片描述
  3. gating Network &Multi Experts
    在这里插入图片描述
  4. 猜测，pi求解过程，看论文，应该是利用梯度下降方法，求解每个exerts在每个task上的p. 对应tasks上取最大统计概率的experts.
Catherine_In_Data
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文阅读】Adaptive Mixtures of Local Experts
qq_36643449的博客
03-09 1078
MoE可以理解成一种集成算法。其思想是训练多个神经网络(也就是多个专家，每一个专家是一个神经网络)。每个专家被指定应用于数据集的不同部分。这就是说，数据集可能有着多个不同的来源(意思是说数据集中的数据的产生方式不同)。不同来源提供的数据差距较大（但真实），因此我们为每一个来源的数据一个指定的神经网络来处理，而且模型还有一个managing neural net用来判断一个输入应该交给哪一个神经网络来处理。 单个的模型往往善于处理一部分数据，不擅长处理另外一部分数据（在这部分数据上犯错多），而多专家系统则很好
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
06-23
神经网络吸收信息的能力受限于其参数的数量。在这篇论文中，我们提出一种新类型的层——稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts(MoE)），它能够在仅需增加一点计算的基础上被用于有效提升模型的能力。这种层包含了多达数万个前向的子网络（feed-forward sub-networks，被称为专家（expert）），总共包含了多达数百亿个参数。一个可训练的门网络（gating network）可以确定这些专家的稀疏组合以用于每一个样本。我们将这种 MoE 应用到了语言建模任务上——在这种任务中，模型能力对吸收训练语料库中可用的大量世界知识而言是至关重要的。我们提出了将 MoE 层注入堆叠 LSTM（stacked LSTM）的新型语言模型架构，得到的模型的可用参数数量可比其它模型多几个数量级。在语言建模和机器翻译基准上，我们在更低的成本上实现了可与当前最佳表现媲美或更好的结果，其中包括在 1 Billion Word Language Modeling Benchmark 上测得的 29.9 的困惑度（perplexity），以及在 WMT'14 En to Fr（英法翻译）和 En to De（英德翻译）上分别得到了 40.56 和 26.03 的 BLEU 分数。
Adaptive Mixtures of Local Experts
没有期待的日子反而会顺顺利利
08-21 235
Hampshire和Waibel以及Jacobs等人都使用了不鼓励本地化的错误函数。他们假设整个系统的最终输出是局部专家输出的线性组合，门控网络决定了每个局部输出在线性组合中的比例。 其中o是情况c下专家i的输出向量，p是专家i对组合输出向量的比例贡献，d是情况c中的期望输出向量。该误差度量将期望输出与本地专家的输出的混合进行比较，因此，为了将误差最小化，每个局部专家必须使其输出抵消所有...
Adaptive mixtures of local experts, Neural Computation‘1991
qq_56341866的博客
11-13 393
论文阅读记录
混合专家系统(Mixture of experts)
super
04-10 7195
MoE理论参考：https://goker.wordpress.com/2011/07/01/mixture-of-experts/实现代码import numpy as np import random import matplotlib.pyplot as pltclass MOE: def __init__(self, train_x, train_y, k = 4, lamda =
多专家模型(mixture of experts)
热门推荐
算法改变人生
06-02 2万+
Mixtures of experts 本小节介绍多专家模型（the mixture of experts model），该模型的思想是训练多个神经网络（也就是多个专家），每个神经网络（专家）被指定（specialize）应用于数据集的不同部分。这就是说，数据集可能有着多个不同的来源（different regimes，意思是说数据集中的数据的产生方式不同，这里我翻译成了“不同的来源”），不
Adaptive-mixtures-of-local-experts.pdf
06-15
Adaptive-mixtures-of-local-experts.pdf
Adaptive blind separation of underdetermined mixtures based on sparse component analysis
02-20
However, ICA is difficult to use in some challenging cases, such as underdetermined BSS or blind separation of dependent sources. Recently, sparse component analysis (SCA) has attained much attention...
Adaptive Identification of Acoustic Multichannel Systems
05-22
Efficient adaptive filtering algorithms that exploit the sparsity in the transform domains are presented and the relation between the signal- and the system-based sparse representations is emphasized....
adaptive control of systems with actuator failures
08-26
自适应容错控制方面的权威著作，很值得深入研究的容错控制技术
Modified local mean decomposition algorithm for adaptive analysis of fringe pattern
02-05
We propose modified local mean decomposition to analyze signals of fringe pattern adaptively. It decomposes the signals into a set of functions, each of which is the product of amplitude signal and ...
论文阅读-Multi-gate Mixture-of-Experts(MMOE)
铁锹的填坑记录
09-27 624
MMOE Tittle 总结： 针对的问题： 多任务学习，目的是通过构建一个模型，能够用在不同目标或者任务上。但是这种模型的预测质量往往对于任务之间的关系很敏感。 产生的新想法： 提出了Multi-gate Mixture-of-Experts(MMoE)， 多门控制的混合专家网络。在MoE(专家网络)的基础上，通过在任务间共享专家网络的子模型，来使MoE适应多任务学习。 例如，在电影推荐系统中，通常需要同时优化多个目标，例如同时预测用户的购买率、用户的打分等。 研究表明迁移学习可以通过
lecture10-模型的结合与全贝叶斯学习
weixin_34234823的博客
12-14 182
这是Hinton的第10课 这节课有两篇论文可以作为背景或者课外读物《Adaptive mixtures of local experts》和《Improving neural networks by preventing co-adaptation of feature detectors》。 一、为什么模型的结合是有帮助的 这部分将介绍为什么当我们进行预测的时候，...
论文理解MoC-CNNs
鱼奶奶的花园
04-26 600
论文理解《Mixture of Counting CNNs: Adaptive Integration of CNNs Specialized to Specific Appearance for Crowd Counting》创新点：使用专门针对特定的外观的多个CNN来预测目标的数量；基于Mixture of Experts(MoE)的思想（ref论文【1】）；（有点像Switch CNN?）解...
混合专家模型 Mixture-of-Experts (MoE)
noobiee的博客
10-22 4163
比如在MoE论文的一些实验中，作者采用了n=512，k=2的设定，也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的，可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法：以GLaM模型为例，它包含1.2T个参数，但实际上被激活的参数（activated parameters）只有97B，远少于GPT-3，也就是说，它是稀疏激活的MoE。第二个变动是加了noise，这个的目的是为了做均衡，这里引入了一个Wnoise的参数，后面还会在损失函数层面进行改动。
MoE（Mixture of Expert）简单research
kandysoso的博客
03-04 3626
MoE 简单 research
周报2022-8-4
weixin_43856821的博客
08-04 176
特色：多模态论文，去除掉目标检测领域的Region Feature。在ViT之前，针对图像像素的处理，VLP主要选择目标检测器，使密集的图像像素生成为特征性强、离散化的表示。ViLT核心思路为参考ViT，将图像划分为patch，通过线性映射的方式将patch转换为embedding，避免繁琐的图像特征抽取的过程。 建议：读近期论文future work看是否有坑可以填。...
混合专家系统（MoE）
Zoe_Su的博客
11-09 2万+
混合专家系统（Mixture of Experts）原理：混合专家系统（MoE）是一种神经网络，也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型，各个模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型
(2024)跳槽涨薪必备精选面试题.pdf
最新发布
06-29
(2024)跳槽涨薪必备精选面试题.pdf (2024)跳槽涨薪必备精选面试题.pdf (2024)跳槽涨薪必备精选面试题.pdf (2024)跳槽涨薪必备精选面试题.pdf (2024)跳槽涨薪必备精选面试题.pdf
adaptive probabilities of crossover & matlab
02-07
自适应交叉概率是一种遗传算法中使用的策略，用于调整交叉操作的概率。在遗传算法中，交叉操作是指从父代个体中生成子代个体的过程，其中不同的交叉概率会影响到子代个体的多样性和搜索能力。 自适应交叉概率的核心思想是根据进化过程中的个体适应度动态调整交叉概率。换句话说，适应度高的个体之间的交叉概率会更大，而适应度低的个体之间的交叉概率会更小。这种策略可以更好地保留高适应度个体的优良特性，减少适应度较低个体带来的不利影响。 自适应交叉概率通过迭代过程中不断更新个体适应度信息，动态调整交叉概率，从而有效平衡了个体多样性和搜索能力之间的关系。在实际应用中，自适应交叉概率能够加速收敛速度，提高算法的全局搜索能力，并且对不同问题领域都有一定的适用性。 总的来说，自适应交叉概率是遗传算法中重要的一个策略，能够在提高算法收敛速度的同时，有效平衡个体多样性和搜索能力，从而更好地解决实际问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值