zheliku的博客

​ 在美国买房时，买家需根据房屋信息（如卧室数量、卫生间数量、面积等）预测合理的成交价。输入数据：房屋特征（如X1=卧室数X2=卫生间数X3=面积输出目标：预测成交价Y。实际挑战：卖家的标价和网站估价（如Redfin）仅为参考，最终需通过竞价决定成交价，因此准确预测至关重要。​ 计算输入特征X\mathbf{X}X和模型权重w\mathbf{w}w的矩阵-向量乘法后加上偏置bbb。​ 注意，上面的XwXw是一个向量，而bbb是一个标量。

​ 虽然这些更奇特的对象确实出现在高级机器学习中（包括[深度学习中]），但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。​ 使用自动微分的一个好处是：即使构建函数的计算图需要通过 Python 控制流（例如，条件、循环或任意函数调用），我们仍然可以计算得到的变量的梯度。​ 从输入到输出逐层计算梯度，每次计算一个输入变量对输出的梯度，通过链式法则逐层传递梯度。​ 这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。每个分量的梯度，并打印这些梯度。

同样，给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。例如，将两个相同形状的矩阵相加，会在这两个矩阵上执行元素加法。​ 默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。​ 标量由只有一个元素的张量表示。​ 将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。​ 张量就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构。通常，使用矩阵-向量积来描述在给定前一层的值时，求解神经网络每一层所需的复杂计算。

巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。这个新的张量包含与转换前相同的值，但是它被看成一个 3 行 4 列的矩阵。下面的例子分别演示了当我们沿行（轴-0，形状的第一个元素） 和按列（轴-1，形状的第二个元素）连结两个矩阵时，会发生什么情况。​ 在上面的例子中，为了获得一个3行的矩阵，我们手动指定了它有 3 行和 4 列。在下面的例子中，我们使用逗号来表示一个具有 5 个元素的元组，其中每个元素都是按元素操作的结果。在这里，我们将考虑插值法。

​ 核心优势：自动从数据中学习特征，无需人工设计规则（如传统计算机视觉需手动提取边缘、纹理等特征）。​ AI 技术演进：符号学（早期 AI）→ 概率模型（统计学习）→ 机器学习 → 深度学习。​ 深度学习是机器学习的子集，但能处理更复杂的任务（如图像、语音、自然语言）。