XGboost 论文阅读

论文链接：https://arxiv.org/pdf/1603.02754.pdf

ABSTRACT

什么是Tree boosting？

树提升（Tree Boosting）是一种集成学习方法，用于解决回归和分类问题。它结合了决策树和梯度提升技术，通过逐步构建多个弱学习器（通常是决策树），并将它们组合成一个强大的集成模型。

在树提升中，模型的训练是一个逐步迭代的过程。初始时，模型是一个简单的弱学习器（例如，单层决策树或决策树桩）。然后，模型通过反复迭代来改进性能。每次迭代中，新的弱学习器被训练来纠正前一轮迭代的模型的错误。

在每一轮迭代中，树提升算法会计算出当前模型对于每个样本的预测残差（实际值与当前模型预测值之间的差异）。然后，新的弱学习器将被训练来预测这些残差，以便模型能够更好地拟合训练数据中的残差部分。新学习器的预测结果被加权并与前一轮的预测结果相加，从而更新整体模型的预测。

这个迭代过程不断进行，每一轮都使模型更加准确，直到达到预先设定的停止条件，比如达到一定的迭代次数或者误差降至可接受的程度。最终，通过结合所有弱学习器的预测结果，树提升算法生成了一个强大的集成模型，它能够对新的未见样本进行预测。

树提升在实际应用中表现出色，因为它能够处理高维数据、处理混合类型的特征，且对异常值具有鲁棒性。它在许多机器学习竞赛和实际问题中都取得了优秀的结果，成为一种常用的算法。常见的树提升算法包括梯度提升树（Gradient Boosting Trees）和XGBoost（eXtreme Gradient Boosting）等。

scalable
“Scalable” 是一个描述性词汇，指的是一个系统、方法或解决方案在面对不断增长的需求时能够有效地扩展和适应。在计算机科学和信息技术领域，“scalable” 通常表示一个系统能够在增加工作负载或数据规模时保持高性能和可靠性，而不需要进行大规模的重构或重新设计。

可扩展性是一个重要的概念，尤其在涉及处理大规模数据、高并发访问或快速增长的用户数量的系统中。一个可扩展的系统能够根据需要增加计算资源、存储容量和处理能力，以应对更多的请求或数据量。

在软件开发中，可扩展性可以通过设计良好的架构、合适的数据结构和算法、分布式计算等技术手段来实现。它可以使系统能够适应变化的需求和环境，并提供高性能、高可用性和灵活性。

总之，“scalable” 指的是一个系统或解决方案具有适应性和可扩展性，能够有效地应对不断增长的需求和资源规模。

sparsity-aware
“sparsity-aware” 是一个英文短语，它由两部分组成： “sparsity” 和 “aware”。在机器学习和数据分析领域，“sparsity” 指的是数据稀疏性，即数据中存在大量的零值或缺失值。

“aware” 意味着意识到、了解或关注某个特定的事物。因此，“sparsity-aware” 表示一种算法、方法或系统具有对数据稀疏性的意识和关注。

根据上述文本的上下文，“sparsity-aware algorithm” 指的是一种具有对稀疏数据的意识和关注的算法。因此，“sparsity-aware” 可以翻译为 “对稀疏性敏感的” 或 “针对稀疏数据的”。

sparse
“sparse” 是一个英语形容词，用于描述某物的稀疏性或稀疏程度。它表示某个物体、数据集或模式中存在较少的元素、点或值，或者存在大量的零值或缺失值。

在数学和统计学中，“sparse” 通常指的是矩阵或向量中非零元素的数量相对较少。例如，稀疏矩阵是指其中大部分元素为零的矩阵。相反，“dense” 则表示矩阵或向量中非零元素的数量较多。

在机器学习和数据分析中，“sparse” 通常用于描述具有大量零值或缺失值的数据集。这种稀疏性可以出现在文本数据中的词频向量、图像数据中的像素值矩阵以及其他类型的特征表示中。

因此，“sparse” 可以翻译为 “稀疏的” 或 “稀少的”，用于描述具有较少非零元素或大量零值或缺失值的物体、数据集或模式。

quantile sketch

“Quantile sketch”（分位数草图）是一种用于近似计算数据集分位数的数据结构或算法。分位数是指将一个有序数据集划分为几个等分的值，例如中位数是将数据集分为两个相等的部分。

在实际应用中，计算大规模数据集的精确分位数可能是计算上的挑战，因为需要对整个数据集进行排序并计算特定位置的值。为了解决这个问题，分位数草图被引入，它通过对数据集进行抽样或压缩，以近似地估计分位数值。

分位数草图通常通过选择一些数据样本或将数据划分为多个桶（buckets）来构建。每个桶包含一组数据，并且具有与原始数据集中对应分位数接近的值。通过对这些桶进行合并和插值，可以估计出整个数据集的分位数。

使用分位数草图可以快速估计数据集的分位数而无需对整个数据集进行排序，这在处理大规模数据或实时计算中非常有用。分位数草图在统计学、数据分析和机器学习等领域被广泛应用，用于对数据进行概括和快速分析

insights
“Insights” 意味着对某个主题或问题的深入理解、洞察力或见解。它表示通过观察、分析或研究获得的有价值的见解或理解。

“Insights” 可以来自对数据、情况、现象、行为或模式的观察和分析。它通常涉及对事物的深入思考、解释或发现隐藏的模式、关联或规律。

在给定的上下文中，“provide insights” 意味着提供有关特定主题、问题或领域的深入理解或见解。这可能包括对某种算法、方法或系统的工作原理的洞察，对数据的特征或模式的分析结果的洞察，或对某个领域的发展趋势或挑战的洞察。

总之，“insights” 指的是对某个主题或问题的深入理解和有价值的见解，通常是通过观察、分析或研究获得的。

cache access patterns
“Cache access patterns”（缓存访问模式）指的是计算机程序中对缓存系统的访问方式和模式。在计算机体系结构中，缓存是一种用于存储最常用或最近访问的数据的高速存储器，旨在提高数据访问的速度和效率。

缓存访问模式描述了程序中对缓存的读取和写入操作的方式和顺序。它涉及数据的访问顺序、访问间隔、访问频率以及数据块的大小等方面。

了解和优化缓存访问模式对于提高程序性能和效率非常重要。合理的缓存访问模式可以减少缓存未命中（cache miss）的次数，减少数据从主内存加载到缓存的延迟，并提高程序的整体执行速度。

优化缓存访问模式的常见策略包括局部性原理（Locality Principle）的应用，例如空间局部性（Spatial Locality）和时间局部性（Temporal Locality）。空间局部性指的是对相邻内存位置的连续访问，而时间局部性指的是对同一内存位置的重复访问。

通过分析和优化缓存访问模式，程序开发者可以提高程序的性能、减少内存访问延迟，并充分利用计算机体系结构中的缓存系统。

Sharding
Sharding（分片）是一种数据分割和分布式存储的技术，用于处理大规模数据集。在数据库和分布式系统中，Sharding 旨在将数据分散存储在多个独立的节点上，以便提高系统的性能、可扩展性和可用性。

Sharding 通过将数据分割成较小的逻辑片段（称为分片），然后将这些分片分布存储在不同的节点上来实现。每个节点负责管理自己所存储的分片，并且可以独立地处理对于自己所管理的数据的读写操作。

分片通常基于某种规则或算法将数据分配到特定的节点上。这些规则可以基于数据的关键字、范围、哈希值或其他特征进行决策。通过将数据分布到多个节点上，Sharding 可以实现数据的并行处理和负载均衡，从而提高系统的吞吐量和响应能力。

Sharding 也可以增加系统的可扩展性。当数据量增长时，可以简单地增加更多的节点来容纳更多的数据，而无需对整个系统进行重构。这使得系统能够处理大规模数据集，并具备处理高并发请求的能力。

然而，Sharding 也引入了一些挑战，如数据一致性、分片策略的选择、跨分片查询等。因此，在实施 Sharding 时，需要仔细考虑数据分布和访问模式，以确保数据的一致性和系统的性能。

总之，Sharding 是一种用于处理大规模数据的技术，它将数据分割为多个分片并分布存储在不同的节点上，以提高系统的性能、可扩展性和可用性。

By combining these insights, XGBoost scales beyond billions of examples using far fewer resources than existing systems.
通过结合这些见解，XGBoost 在使用比现有系统更少的资源的情况下，可以扩展到数十亿个示例以上。

这句话意味着通过应用先前提到的见解和技术，XGBoost（一种梯度提升树模型）能够处理比传统系统更大规模的数据集，同时使用较少的计算资源。具体来说，XGBoost能够高效地利用缓存访问模式、数据压缩和分片等技术，以减少计算和存储的负担，并提高整体的扩展性和效率。

这样的优化和改进使得 XGBoost 能够处理数十亿个训练示例，而不需要大量的资源。这对于处理大规模数据集和高并发任务非常重要，因为它可以减少计算成本、提高性能，并加速训练和预测的速度。

总之，通过结合先前的见解和技术，XGBoost 在使用较少资源的情况下能够处理超过数十亿个训练示例，具有更好的扩展性和效率。

1. INTRODUCTION

Smart spam classifiers 是什么
Smart spam classifiers（智能垃圾邮件分类器）是一种利用机器学习和自然语言处理技术来自动检测和过滤垃圾邮件的系统或算法。

垃圾邮件是指那些未经请求且通常包含广告、欺诈、垃圾信息或恶意内容的电子邮件。为了过滤和阻止这些垃圾邮件，智能垃圾邮件分类器通过分析邮件的内容、特征和上下文来确定其是否属于垃圾邮件。

智能垃圾邮件分类器使用机器学习算法，如支持向量机（SVM）、朴素贝叶斯分类器、决策树等，来训练模型以学习和识别垃圾邮件的模式和特征。这些模型会根据已知的垃圾邮件和非垃圾邮件样本进行训练，从而能够在未知邮件上进行分类和预测。

智能垃圾邮件分类器通常使用文本特征提取和处理技术，如词袋模型（bag of words）、TF-IDF（词频-逆文档频率）权重、N-gram 模型等，来表示和分析邮件的内容。此外，还可以考虑其他特征，如发件人信息、邮件主题、邮件格式等。

智能垃圾邮件分类器的目标是准确地识别垃圾邮件并将其过滤出用户的收件箱，以提供更好的邮件过滤和保护用户免受垃圾邮件的困扰。

需要注意的是，具体的智能垃圾邮件分类器实现可能有所不同，因为不同的算法和技术可能被用于构建和训练这些分类器。

“usage of effective(statistical) models that capture the complex data dencies and scalable learning systems that learn the model of interest from large datasets.”
有效（统计）模型的使用，可以捕捉复杂的数据依赖关系，并具备从大型数据集中学习感兴趣模型的可扩展学习系统。

这句话强调了两个关键点：有效的模型和可扩展的学习系统。

“有效（统计）模型” 指的是能够准确地捕捉和表示数据之间复杂的依赖关系的模型。这些模型可以基于统计学或机器学习的原理和方法，通过对数据的分析和建模来提供对数据的深入理解。这些模型能够捕捉到数据的模式、关联和潜在结构，以便进行预测、分类或其他分析任务。

“可扩展学习系统” 指的是能够处理大型数据集并从中学习感兴趣模型的系统。这些系统具备高效的算法和技术，能够处理大规模的数据，同时具备良好的可扩展性和性能。通过这样的学习系统，可以从大规模数据中提取信息，训练出具备预测能力或其他目标的模型。

因此，这句话强调了在处理大型数据集时，使用既能捕捉复杂数据依赖关系的有效模型，又具备可扩展性的学习系统的重要性。通过这种组合，可以获得对大数据集更准确、更全面的分析和预测。
ranking problems
排名问题（Ranking problems）是指在给定一组项目或实例时，根据其相关性或重要性将它们分配一个排名或顺序的任务。在排名问题中，重点是确定项目之间的相对顺序或偏好，而不是为它们分配具体的数值或标签。

排名问题在各个领域和应用中都很常见。以下是一些例子：

搜索引擎排名：在搜索引擎中，根据用户的查询和相关性算法，对搜索结果进行排名，以呈现最相关的结果在前。

推荐系统排名：在推荐系统中，根据用户的兴趣和行为，对物品进行排名，以展示用户最有可能喜欢的物品。

信息检索排名：在信息检索任务中，根据查询与文档的匹配程度，对文档进行排名，以展示最相关的文档。

产品排序：在电子商务网站中，根据多个因素，如销量、评价、价格等，对产品进行排名，以帮助用户做出购买决策。

在解决排名问题时，常用的方法包括使用排序算法和学习排序模型。排序算法可以根据预定义的规则或特征来进行排序，而学习排序模型可以通过训练数据来学习项目之间的排序关系。

排名问题的解决对于提供更好的用户体验、提高搜索和推荐的准确性、增加交易转化率等方面具有重要意义。通过有效的排名算法和模型，可以根据用户的需求和上下文，为用户呈现最相关和有价值的结果或推荐内容。

离线计算（out-of-core computation）
离线计算（out-of-core computation）是一种处理数据集过大无法完全加载到内存的情况下的计算方式。通常，计算机的内存容量是有限的，而处理大规模数据集可能需要超出内存容量的存储空间。在这种情况下，无法将整个数据集同时加载到内存中进行计算。

离线计算通过将数据分为适当大小的块（chunks）或分区，然后逐块加载到内存中进行计算。当一个块的计算完成后，它会被释放，然后加载下一个块进行处理。这样，数据集的处理可以分为多个阶段或迭代，每次只处理部分数据。

离线计算通常用于处理大规模数据集，例如大型文件、数据库、日志等。它提供了一种有效的方式来处理超出内存容量的数据，并且可以通过适当的设计和算法优化来减少磁盘访问次数和数据传输开销。

离线计算的主要优点是能够处理大规模数据，无需依赖内存容量，从而扩展了数据处理的能力。然而，由于需要频繁地从磁盘读取和写入数据，离线计算的速度可能相对较慢，特别是与内存计算相比。因此，在设计离线计算算法时需要考虑到磁盘访问的开销，并采取相应的优化策略来提高计算效率。

cache-aware
在计算机系统中，“cache-aware” 表示一种设计或算法的方法，它考虑到缓存内存层次结构的特性和限制。它旨在优化数据访问模式，减少缓存未命中（cache misses），从而提高系统的整体性能。

缓存是位于与主内存相比更靠近 CPU 的小型高速存储器组件。它存储频繁访问的数据和指令，以降低从较慢的内存层次访问信息的延迟。然而，缓存的有效性依赖于利用引用局部性的原则，即最近访问的数据或可能在不久的将来访问的数据往往会存储在缓存中。

“cache-aware” 的设计或算法方法利用这一原则，通过组织数据和优化数据访问模式来最大程度地利用缓存。这可能涉及数据预取、缓存分块和缓存感知的数据结构等技术。通过减少缓存未命中并有效利用缓存，“cache-aware” 方法可以显著提高内存受限应用程序和算法的性能。

在你提供的语句中（“We propose an effective cache-aware block structure for out-of-core tree learning”），它表示所提出的针对离线树学习的块结构考虑了与缓存相关的因素，以优化数据访问并在计算过程中减少缓存未命中。这可以在处理具有有限内存资源的大规模树学习任务时提供更好的性能和效率。

split finding method
分割查找方法指的是在决策树构建过程中确定最佳分割点的方法。在构建决策树时，需要根据数据的特征选择一个分割点，将数据划分为更纯净的子节点。分割点的选择对决策树的准确性和效率都有重要影响。

常见的分割查找方法包括以下几种：

基于信息增益（Information Gain）：使用信息论中的熵或基尼系数来衡量节点的纯度，选择能够最大程度地减少不确定性的分割点。

基于均方差减少（Mean Squared Error Reduction）：针对回归问题，通过计算分割前后的均方差之差，选择能够最大程度地减少平方误差的分割点。

基于方差减少（Variance Reduction）：类似于均方差减少，但用于处理随机森林等集成学习方法中，通过计算分割前后的方差之差，选择能够最大程度地减少方差的分割点。

基于增益比（Gain Ratio）：在信息增益的基础上考虑特征的分裂能力，通过除以分裂信息（split information）对信息增益进行归一化，避免对具有更多分支的特征偏好。

这些分割查找方法在决策树算法中起着关键作用，帮助选择最优的分割点，使得决策树能够更好地拟合训练数据，并具有更好的泛化能力。具体选择哪种分割查找方法取决于应用场景、数据类型和算法设计等因素。

TREE BOOSTING IN A NUTSHELL

TREE BOOSTING IN A NUTSHELL
“TREE BOOSTING IN A NUTSHELL” 可以翻译为 “树提升（Tree Boosting）简介”。

树提升是一种集成学习方法，通过迭代地训练多个决策树，并将它们组合起来形成一个更强大的模型。在树提升中，每个决策树都会尝试修正之前树的预测误差，从而逐步提高整体模型的准确性。

树提升的核心思想是通过串行训练多个弱学习器（通常是决策树）来逐步逼近真实的目标函数。每个新的决策树都会专注于修正前一轮决策树的预测误差。具体而言，树提升算法通过计算目标函数的负梯度（negative gradient）来确定每个决策树的训练目标，以使其能够更好地拟合误差。

在每轮迭代中，树提升算法会根据当前模型的残差（即实际值与当前模型的预测值之间的差异）构建一个新的决策树。然后，这棵新的决策树会被添加到模型中，并与之前的树进行组合，形成更强大的集成模型。迭代过程会一直进行，直到达到预定的迭代次数或模型性能满足停止条件。

树提升在许多机器学习任务中表现出色，特别是在回归和分类问题中。它能够有效地处理复杂的非线性关系，适应各种数据类型和特征表示，并具有较强的泛化能力。通过结合多个决策树的预测，树提升能够有效地捕捉数据中的复杂关系，从而提高模型的准确性和鲁棒性。

The derivation follows from the same idea in existing literatures in gradient boosting. 中文解释
这个推导源自现有文献中梯度提升算法的相同思想。

这句话表明，所述推导过程与已有的梯度提升算法的思想相一致。它说明了所述推导过程采用了与已有文献中类似的方法和理念。也就是说，作者在推导过程中遵循了已有文献中关于梯度提升算法的相似思路和技术。这种一致性可以确保所述推导过程的正确性和可靠性，并与已有的研究结果保持一致。

order method 中文解释
“order method” 可以翻译为 “排序方法”。

在计算机科学和数学中，“order method” 是指一种用于排序或排列对象的特定算法或技术。排序是将一组对象按照特定的规则或关键字进行排列的过程，以使得它们按照升序或降序的顺序排列。

常见的排序方法包括：

冒泡排序（Bubble Sort）：通过多次比较和交换相邻元素来逐步将最大（或最小）的元素移至最后，直到所有元素有序。

插入排序（Insertion Sort）：逐个将未排序的元素插入到已排序部分的正确位置，直到所有元素有序。

选择排序（Selection Sort）：在未排序的部分中选择最小（或最大）的元素，并将其放置在已排序部分的末尾，直到所有元素有序。

快速排序（Quick Sort）：通过选择一个基准元素，将序列分为较小和较大两部分，然后递归地对两部分进行排序，直到所有元素有序。

归并排序（Merge Sort）：将序列分成较小的子序列，对每个子序列进行排序，然后合并子序列以得到有序的结果。

每种排序方法都有其独特的优势和适用场景，选择合适的排序方法取决于待排序数据的大小、类型和排序要求。排序方法在计算机科学和算法设计中非常重要，对于解决许多问题和优化算法的性能至关重要。
space of regression trees (also known as CART) 中文解释
回归树空间（也称为CART）是一种用于建模和预测连续数值输出的统计学和机器学习方法。

在回归树空间中，使用一种树结构来表示输入特征和输出之间的关系。每个节点代表一个特征或属性，每个分支代表该特征的可能取值，而叶节点则表示最终的预测输出。

CART（Classification and Regression Trees）是一种常用的回归树方法，它可以处理连续的输出变量。在CART中，通过递归地将数据集划分为子集，构建一棵二叉树。每次划分都基于某个特征的某个取值，以最小化预测误差或最大化纯度。通过不断地划分数据集并生成叶节点，最终得到一棵具有分支和叶节点的树结构，用于预测新的输入样本的连续数值输出。

回归树空间可以应用于各种领域，例如房价预测、销量预测、股票价格预测等。它的优点包括易于解释和理解、能够处理非线性关系以及对异常值和缺失数据的鲁棒性。

$$\mathcal{F}=\left\{f(\mathbf{x})=w_{q(\mathbf{x})}\right\}\left(q:{\mathbb{R}}^m\to T,w\in {\mathbb{R}}^T\right)$$

在给定符号表达式 $\mathcal{F}=\left\{f(\mathbf{x})=w_{q(\mathbf{x})}\right\}\left(q:{\mathbb{R}}^m\to T,w\in {\mathbb{R}}^T\right)$ 的情况下，它表示一个函数集合$\mathcal{F}$，其中每个函数$f(\mathbf{x})$ 都是通过将权重 $w$ 应用于函数 $q(\mathbf{x})$ 的结果得到的。

具体而言，函数 $q(\mathbf{x})$是定义在 m 维实数空间 ${\mathbb{R}}^m$ 上的函数，用于生成一个中间结果。权重 w 是定义在目标空间 T 上的实数向量，它包含 T 个元素。

对于给定的输入向量 $\mathbf{x}=(x_1,x_2,...,x_m)\in {\mathbb{R}}^m$，函数 $q(\mathbf{x})$ 生成一个索引或标识符，用于从权重向量 $w$ 中选择相应的权重值。然后，函数 $f(\mathbf{x})$ 的输出是根据所选的权重值计算得到的。

这个符号表达式表示了一个函数集合 $\mathcal{F}$，其中的函数通过组合函数 $q(\mathbf{x})$ 和权重向量 $w$，将输入向量 $\mathbf{x}$ 映射到目标空间 $T$ 中的值。每个函数都具有不同的 $q(\mathbf{x})$ 和 $w$，因此可以实现不同的映射和模型。

未完待续。。。。