简简单单的貔貅-CSDN博客

原创信息检索（114）：Pre-train a Discriminative Text Encoder for Dense Retrieval via Contrastive Span Predictio

密集检索在许多信息检索 (IR) 相关任务中都显示出了良好的效果，其基础是学习高质量的文本表征以实现有效搜索。最近的一些研究表明，基于自编码器的语言模型能够使用弱解码器提高密集检索性能。然而，我们认为 1) 解码所有输入文本是没有区分性的，2) 即使是弱解码器也会对编码器产生旁路效应。因此，在本文中，我们引入了一种新颖的对比跨度预测任务来单独预训练编码器，但仍保留自编码器的瓶颈能力。关键思想是使用分组对比损失迫使编码器生成接近其自身随机跨度而远离其他跨度的文本表征。

2024-07-22 17:41:43 573

原创信息检索（28）：PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval

最近，密集段落检索已成为各种自然语言处理任务中查找相关信息的主流方法。许多研究致力于改进广泛采用的双编码器架构。然而，大多数先前的研究在学习双编码器检索器时仅考虑以查询为中心的相似关系。为了捕获更全面的相似关系，我们提出了一种新方法，该方法利用以查询为中心和以段落为中心的相似关系（称为 PAIR）进行密集段落检索。为了实现我们的方法，我们做出了三大技术贡献：引入两种相似关系的形式化公式、通过知识蒸馏生成高质量的伪标记数据，以及设计一个包含以段落为中心的相似关系约束的有效两阶段训练程序。

2024-07-22 15:14:51 894

原创信息检索（40）：Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval

最近的研究表明，使用微调语言模型 (LM) 进行密集检索是有效的。然而，密集检索器很难训练，通常需要经过大量设计的微调管道才能充分发挥其潜力。在本文中，我们确定并解决了密集检索器的两个潜在问题：i) 易受训练数据噪声影响；ii) 需要大批量来稳健地学习嵌入空间。我们使用最近提出的 Condenser 预训练架构，该架构通过 LM 预训练学习将信息压缩到密集向量中。在此基础上，我们提出了 coCondenser，它添加了无监督的语料库级对比损失来预热段落嵌入空间。

2024-07-21 22:07:45 754

原创信息检索（39）：Condenser: a Pre-training Architecture for Dense Retrieval

预训练的 Transformer 语言模型 (LM) 已成为首选的文本表示编码器。先前的研究对深度 LM 进行了微调，以将文本序列（例如句子和段落）编码为单个密集向量表示，以实现高效的文本比较和检索。但是，密集编码器需要大量数据和复杂的技术才能有效训练，并且在数据量较少的情况下会受到影响。本文发现一个关键原因是标准 LM 的内部注意力结构尚未准备好用于密集编码器，密集编码器需要将文本信息聚合到密集表示中。

2024-07-20 16:52:57 1281

原创信息检索（113）：RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder

尽管预训练在许多重要的 NLP 任务中取得了进展，但仍需探索用于密集检索的有效预训练策略。在本文中，我们提出了 RetroMAE，一种基于掩码自动编码器 (MAE) 的面向检索的新型预训练范式。RetroMAE 有三个关键设计。1）一种新颖的 MAE 工作流程，其中输入句子被不同的掩码污染用于编码器和解码器。句子嵌入由编码器的掩码输入生成；然后，通过掩码语言建模，基于句子嵌入和解码器的掩码输入恢复原始句子。

2024-07-20 14:27:45 828

原创信息检索（112）：Token-level Adaptive Training for Neural Machine Translation

自然语言中存在 token 不平衡现象，因为不同的 token 出现的频率不同，这导致神经机器翻译 (NMT) 中 token 的学习难度不同。普通 NMT 模型通常对具有不同频率的目标 token 采用简单的等权重目标，与黄金 token 分布相比，它倾向于生成更多的高频 token 和更少的低频 token。然而，低频 token 可能携带关键的语义信息，一旦被忽略，将影响翻译质量。

2024-07-15 22:27:49 954

原创信息检索（111）：Token-Level Self-Evolution Training for Sequence-to-Sequence Learning

自适应训练方法广泛应用于序列到序列模型，通常根据先验（例如词频）重新衡量不同目标标记的损失。然而，它们中的大多数都没有考虑不同训练步骤中学习难度的变化，而过分强调学习困难的独热标签，使得学习具有确定性和次优性。为此，我们提出了标记级自进化训练 (SE)，这是一种简单有效的动态训练方法，可以充分明智地利用数据中的知识。SE 专注于动态学习每个前向传递中未充分探索的标记，并通过引入一种新颖的标记特定标签平滑方法来自适应地规范训练。

2024-07-15 15:14:17 707

原创信息检索（58）：Learning to Reweight Terms with Distributed Representations

目标术语权重作为回归问题向量表示学习 & term权重预测相结合预测 term 召回率作为 term 权重术语权重是 IR 研究中的一个基本问题，目前已提出了多种权重模型。适当的术语权重可以极大地提高检索准确率，这实质上涉及两种类型的查询理解：解释查询和判断术语对查询的相对贡献。这两个步骤通常是分开处理的，因此提出了复杂但不太有效的加权策略。在本文中，我们提出在一个统一的框架中解决查询解释和术语权重问题，该框架建立在神经网络语言建模最新进展中的词语分布式表示之上。

2024-06-29 16:45:46 941

原创信息检索（57）：MINIMIZING FLOPS TO LEARN EFFICIENT SPARSE REPRESENTATIONS

1）学习高维稀疏表示2）FLOP 集成到损失函数作为正则化项3）相比 l1 损失更好倒排索引浮点运算的数量 // 非零值的均匀分布深度表示学习已成为视觉搜索、推荐和识别领域最广泛采用的方法之一。然而，从大型数据库中检索此类表示在计算上具有挑战性。基于学习紧凑表示的近似方法已被广泛用于解决此问题，例如局部敏感哈希、乘积量化和 PCA。在这项工作中，与学习紧凑表示相反，我们提出学习高维和稀疏表示，这些表示具有与密集嵌入相似的表示容量，同时由于稀疏矩阵乘法运算比密集乘法快得多而更高效。

2024-06-29 14:04:13 598

原创信息检索（56）：From Neural Re-Ranking to Neural Ranking: Learning a Sparse Representation for Inverted Ind

1）密集表示可以修剪为稀疏，用在检索第一阶段2）伪相关反馈的有效性（pseudo-relevance feedback ）两个重点：1）稀疏性目标（是指非零元素的个数：稀疏性高，非零元素数量少，非零元素代表特征更重要）稀疏性的重要意义：稀疏的特征更有价值，更能代表任务的本质需求。可以通过a）正则化方法：最小化 l1 范数（通过l1范数，限制元素为0）b）激活函数（将元素置为0）来学习2）检索目标：hinge损失，通过对比正例和负例相似度训练，类似于对比损失。

2024-06-28 16:33:20 731

原创信息检索（55）：SparTerm: Learning Term-based Sparse Representation for Fast Text Retrieval

1）在完整词汇表学习稀疏表示a）映射函数：词频和Bow表示 --》预测每个 term 的重要性分布b）门控器：控制每个 term 的激活2）与 DeepCT 和 Doc2query 的区别他们两个主要是利用中间模型辅助学习稀疏表示本文直接学习稀疏表示基于词的稀疏表示在工业应用中占据了第一阶段文本检索的主导地位，因为它在效率、可解释性和精确词匹配方面具有优势。

2024-06-28 10:41:56 946

原创信息检索（54）：On the Effect of Low-Frequency Terms on Neural-IR Models

低频词是信息检索模型面临的一个反复出现的挑战，尤其是神经 IR 框架难以充分捕捉不常出现的单词。虽然这些术语通常会从神经模型中删除（主要是为了满足效率要求），但它们传统上在 IR 模型的性能中发挥着重要作用。在本文中，我们分析了低频术语对神经 IR 模型的性能和鲁棒性的影响。我们对三个最近的神经 IR 模型进行了受控实验，这些模型是在大规模段落检索集合上训练的。我们评估了具有不同词汇量大小的神经 IR 模型的各自词嵌入，并考虑了对可用 GPU 内存的不同程度的限制。

2024-06-24 21:01:32 688

原创信息检索（53）：Document Expansion by Query Prediction

提高搜索引擎检索效率的一种方法是使用与文档内容相关或具有代表性的术语来扩展文档。从问答系统的角度来看，这可能包括文档可能回答的问题。根据这一观察，我们提出了一种简单的方法，该方法可以预测将针对给定文档发出哪些查询，然后使用原始序列到序列模型将这些预测扩展，该模型使用由查询和相关文档对组成的数据集进行训练。通过将我们的方法与高效的重新排序组件相结合，我们在两个检索任务中实现了最先进的水平。在延迟关键机制下，单独的检索结果（不进行重新排序）接近计算成本更高的神经重新排序器的有效性，但速度要快得多。

2024-06-24 11:11:12 802

原创信息检索（52）：From doc2query to docTTTTTquery

Nogueira 等人 [7] 使用简单的序列到序列转换器 [9] 进行文档扩展。我们用 T5 [8] 替换转换器，并观察到效率大幅提升。doc2query [7] 是一种文档扩展形式，其理念是训练一个模型，当给定一个输入文档时，该模型会生成该文档可能回答的问题。然后，这些预测的问题会附加到原始文档中，然后像以前一样对原始文档进行索引。本研究中的设置遵循 doc2query，但使用 T5 [8] 作为扩展模型。

2024-06-24 10:05:28 326

原创信息检索（50）：Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval

1）将密集上下文表示 --》上下文感知的 term 权重2）权重用途a）passage：倒排索引存储 term 权重用来检索b）query：加权的 bow词频是识别查询或文档中术语重要性的常用方法。但它是一种微弱的信号，尤其是当频率分布平坦时，例如在长查询或文本为句子/段落长度的短文档中。本文提出了一种深度语境化术语权重框架，该框架学习将 BERT 的语境化文本表示映射到句子和段落的上下文感知术语权重。当应用于段落时，DeepCT-Index 会生成可存储在普通倒排索引中以供段落检索的术语权重。

2024-06-23 20:48:35 920

原创信息检索（42）：SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval

对于Splade进行修改：1）修改池化机制2）引入蒸馏模型在神经信息检索 (IR) 中，正在进行的研究旨在改进排名管道中的第一个检索器。学习密集嵌入以使用有效的近似最近邻方法进行检索已被证明效果很好。与此同时，人们对学习文档和查询的稀疏表示的兴趣日益浓厚，这些表示可以继承词袋模型的理想属性，例如术语的精确匹配和倒排索引的效率。最近推出的 SPLADE 模型提供了高度稀疏的表示和与最先进的密集和稀疏方法相比具有竞争力的结果。

2024-06-22 15:26:29 522

原创信息检索（43）：SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking

稀疏的优点：1）术语精确匹配2）倒排索引效率两部分：1、显式稀疏正则化：explicit sparsity regularization2、术语权重的对数饱和效应：explicit sparsity regularization在神经信息检索中，正在进行的研究旨在改进排名管道中的第一个检索器。学习密集嵌入以使用有效的近似最近邻方法进行检索已被证明效果很好。同时，人们对学习文档和查询的稀疏表示的兴趣日益浓厚，这些表示可以继承词袋模型的理想属性，例如术语的精确匹配和倒排索引的效率。

2024-06-22 00:32:37 641

原创信息检索（49）：Learning Passage Impacts for Inverted Indexes

1）语言模型 + 倒排索引2）改进影响分数建模和词汇不匹配问题3）为每个文档 token 生成单值表示，估计其重要性神经信息检索系统通常使用级联管道，其中第一阶段模型检索候选文档集，然后一个或多个后续阶段使用 BERT 等语境语言模型对该集合重新排序。在本文中，我们提出了 DeepImpact，这是一种新的文档术语加权方案，适用于使用标准倒排索引进行有效检索。与现有方法相比，DeepImpact 改进了影响分数建模并解决了词汇不匹配问题。

2024-06-21 17:05:28 997

原创信息检索（41）：Unifier: A Unified Retriever for Large-Scale Retrieval

大规模检索是指根据查询从庞大的集合中调用相关文档。它依赖于表示学习将文档和查询嵌入到公共语义编码空间中。根据编码空间，最近基于预训练语言模型 (PLM) 的检索方法可以粗略地分为密集向量或基于词典的范式。这两个范式分别揭示了 PLM 在不同粒度（即全局序列级压缩和局部词级上下文）中的表示能力。受它们互补的全局局部语境化和不同的表示视图的启发，我们提出了一种新的学习框架 Unifier，它将密集向量和基于词典的检索统一在一个具有双重表示能力的模型中。在段落检索基准上的实验验证了它在两个范式中的有效性。

2024-06-05 11:45:33 934

原创信息检索（37）：Query-as-context Pre-training for Dense Passage Retrieval

最近，已经开发出通过使用上下文监督预训练来提高密集段落检索性能的方法。这些方法只是认为同一文档中的两个段落是相关的，而不考虑弱相关对的潜在负面影响。因此，本文提出了查询即上下文预训练，这是一种简单而有效的预训练技术来缓解这个问题。查询即上下文预训练假设从段落派生的查询更有可能与该段落相关，并形成段落-查询对。然后将这些段落-查询对用于对比或生成上下文监督的预训练。预训练模型在大规模段落检索基准和域外零样本基准上进行评估。

2024-05-12 11:04:19 604

原创信息检索（36）：ConTextual Masked Auto-Encoder for Dense Passage Retrieval

self-supervised masked AE 建模 text 内部 token 的语义context-supervised masked AE 建模 text 之间的语义密集段落检索旨在基于查询和段落的密集表示（即向量）从大型语料库中检索查询的相关段落。最近的研究探索了改进预训练语言模型以提高密集检索性能。本文提出了 CoT-MAE（ConTextual Masked Auto-Encoder），这是一种简单而有效的用于密集段落检索的生成预训练方法。

2024-05-12 00:02:03 623

原创信息检索（35）：LEXMAE: LEXICON-BOTTLENECKED PRETRAINING FOR LARGE-SCALE RETRIEVAL

词典瓶颈 + masked + autoencoderencoder 和 decoder 之间加一个词汇瓶颈模块，其中构建了连续的词袋瓶颈，以无监督的方式学习词典重要性分布感知重要性 / importance-aware的词汇表示在大规模检索中，词典加权范式（学习词汇空间中的加权稀疏表示）已显示出高质量和低延迟的有希望的结果。

2024-05-11 16:48:06 935

原创信息检索（34）：Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-Hoc Retrieval

随着深度学习和自然语言处理技术的发展，预训练语言模型已被广泛用于解决信息检索（IR）问题。受益于预训练和微调范例，这些模型实现了最先进的性能。在之前的工作中，维基百科中的纯文本已广泛用于预训练阶段。然而，维基百科中丰富的结构化信息，如标题、摘要、层次标题（多级标题）结构、文章之间的关系、参考文献、超链接结构以及写作组织等尚未得到充分挖掘。在本文中，我们根据维基百科的结构化知识设计了四个针对 IR 任务的预训练目标。

2024-05-10 23:20:49 927

原创信息检索（33）：SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval

法律文档特点：1）具有逻辑结构、长文本（现在模型难理解长距离）2）对于关键要素敏感，即使细微差别也会影响相关性判断（现在模型不能处理）本文：1）关注结构、关注要素2）多个预训练目标，利用非对称 encoder-decoder3）模型区分能力强，无标注也能区分不同案件法律案件检索旨在为查询案件找到相关案件，在智能法律系统中发挥着核心作用。尽管预训练在临时检索任务中取得了成功，但有效的法律案例检索预训练策略仍有待探索。与一般文档相比，法律案例文档通常是具有内在逻辑结构的长文本序列。

2024-05-10 20:19:27 680

原创信息检索（31）：On the Calibration and Uncertainty with Polya-Gamma Augmentation for ´ Dialog Retrieval Mod

深度神经检索模型已经充分证明了它们的力量，但估计其预测的可靠性仍然具有挑战性。大多数对话响应检索模型都会针对响应与给定问题的相关程度输出单个分数。然而，深度神经网络的糟糕校准导致单个分数存在各种不确定性，使得不可靠的预测总是会误导用户决策。为了研究这些问题，我们提出了一种用于对话响应检索模型的有效校准和不确定性估计框架 PG-DRR，该框架将高斯过程层添加到确定性深度神经网络中，并通过 Polya-Gamma ’ 增强恢复共轭性以实现易于处理的后验推理。

2024-04-28 16:38:43 469

原创信息检索（30）：BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models

数据集：18个基线：10个（词汇、稀疏、密集、后期交互、重排序）效果：1）后期交互和重排序，以高计算成本实现高性能（ zero-shot 设置）2）密集和稀疏计算效率高，但效果差（泛化能力改进空间大）现有的神经信息检索（IR）模型经常在同质和狭窄的环境中进行研究，这极大地限制了对其分布外（OOD）泛化能力的了解。为了解决这个问题，并方便研究人员广泛评估其模型的有效性，我们引入了 Benchmarking-IR (BEIR)，这是一种用于信息检索的强大且异构的评估基准。

2024-04-19 15:24:20 1250

原创知识积累（六）：Dokcer 容器和镜像概念问题

在你的例子中，假设你有一个运行着 neo4j 的容器，并且 neo4j 服务在容器内部的 7474 端口上运行。容器 A 到容器 B 的通信：当容器 A 尝试连接到 172.50.0.2 的时候，Docker 会将这个请求转发到与容器 B 关联的网络中，并且将请求路由到容器 B。镜像是容器的构建块，它提供了一个独立、可移植和一致的运行环境。容器 B 上的 Neo4j 服务响应：当容器 A 发送请求到容器 B 上的 Neo4j 服务时，容器 B 中运行的 Neo4j 服务会处理请求，并且返回相应的响应。

2024-04-14 11:19:35 962

空空如也

空空如也