啥都生的博客

Transformer网络是一种用于自然语言处理和计算机视觉任务的深度学习模型。它在2017年由Google提出，并被广泛应用于各种自然语言处理任务，如机器翻译、文本摘要、文本分类等。传统的序列模型如循环神经网络（RNN）在处理长文本时会遇到梯度消失或梯度爆炸的问题，而Transformer网络通过引入自注意力机制（self-attention mechanism）来解决这一问题。自注意力机制是一种通过对输入序列的所有位置进行注意力计算，从而同时考虑输入序列中的所有位置信息的方法。

涉及秋招、春招、社招

计算机类企业内推链接

B站：啥都会一点的研究生公众号试读：啥都会一点的研究生目录说说Python程序运行过程？说说Python的作用域？说说Python的数据结构？说说Python中可变与不可变类型？说说进程与线程？说说Python中的多线程？说说Python中的多进程？说说Python互斥锁与死锁？说说Lambda？说说Python的深拷贝与浅拷贝？说说Python多线程是否能用多个CPU，为什么？说说Python垃圾回收机制？说说Python里的生成器？说说迭代器与生成器的区别？说说Python 列表的 del，rem.

人工智能面试总结-基础理论说说你项目中怎么选择开发平台的？现有的AI开源平台主要有 Caffe, PyTorch, MXNet, CNTK, Theano, TensorFlow, Keras, fastai等。（1）与现有编程平台、技能整合的难易程度。（2）与相关机器学习、数据处理生态整合的紧密程度。是否具有方便的数据预处理工具，是否支持可视化、统计推断、数据分析。（3）对数据量及硬件的要求和支持。（4）平台的成熟度，定期维护以及社区活跃。（5）平台利用是否多样，移植性好。说说你怎么进

目录说说常用的分类算法，以及各自的优缺点？说说为什么正确率有时不能有效评估分类算法？说说什么样的分类器最好？说说聚类算法有哪些衡量标准？（选看）各聚类算法性能比较汇总说说什么是聚类，你知道哪些聚类算法？具体展开介绍你知道的聚类算法？说说K-Means聚类算法流程？说说K-Means聚类算法如何调优？说说K-Means聚类算法如何选择初始点？说说K-Means聚类聚的是特征还是样本？说说K-Means聚类的特征距离是如何计算的？说说聚类与分类的区别？手撕K-Means聚类说说常用的分类算法，以及各自的优缺点

目录说说降维的必要性？说说降维有什么意义？说说PCA主成分分析？说说PCA核心思想？说说如何得到包含最大差异性的主成分方向？说说特征值分解矩阵？说说SVD分解矩阵？说说PCA算法流程总结？图解PCA核心思想说说PCA降维之后的维度怎么确定？说说PCA有什么优缺点？推导PCA说说降维的必要性？1.多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果不连贯。 2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有2%。 3.过多的变

目录介绍下SVM？推导下SVM？说说SVM能解决哪些问题？说说SVM核函数特点与作用？说说SVM有什么主要特点？说说SVM优缺点？说说SVM为什么引入对偶问题？说说SVM中你知道的核函数有以及表达式？说说如何理解SVM中的对偶问题？说说逻辑回归与SVM有什么区别？说说如果特征比较多，用LR还是SVM？说说SVM是否可以用随机梯度下降？说说为什么SVM对缺失数据敏感？说说SVM怎么防止过拟合？介绍下SVM？ SVM（Support Vector Machine，支持向量机）是二十世纪初使用广泛的分类算法

目录说说先验概率与后验概率？说说极大似然估计的原理？图解极大似然估计说说朴素贝叶斯？说说朴素贝叶斯有什么优缺点？说说贝叶斯公式？说说贝叶斯公式的基本原理？说说朴素贝叶斯分类器？说说怎么理解朴素贝叶斯的“朴素”？说说什么是拉普拉斯平滑法?说说朴素贝叶斯中有没有超参数可以调?说说朴素贝叶斯中有什么具体应用?说说朴素贝叶斯是否对异常值敏感?了解半朴素贝叶斯分类器吗?举例理解朴素贝叶斯分类器（最浅显易懂的经典案例）说说先验概率与后验概率？ 用“瓜熟蒂落”这个因果例子，从概率（probability）的角度说一

目录说说决策树？说说决策树原理？说说决策树的划分标准？说说信息增益？说说树模型怎么判断叶子节点是否要分裂？说说ID3和C4.5的区别？说说决策树有哪些要素？说说决策树中剪枝的作用？说说剪枝有哪些策略？说说剪枝中的预剪枝与后剪枝？说说预剪枝与后剪枝优缺点？说说树模型怎么处理离散特征？说说决策树需要进行归一化吗？说说决策树优缺点？说说决策树过拟合原因与解决办法？说说决策树与逻辑回归的区别？说说决策树中的损失函数？决策树算法流程说说决策树？ 决策树（decision tree）是一个树结构（可以是二叉树或非

目录说说KNN是什么？说说KNN有哪些要素？说说KNN的K值怎么选？说说KNN数据是否需要归一化？说说欧式距离与曼哈顿距离，KNN用什么？说说K值设置过大有什么影响？说说KNN的优缺点？说说KNN是什么？ KNN（K Nearest Neighbors），即K个最近的邻居。KNN的原理是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。通过方差表示“距离”。说说KNN有哪些要素？ 有三要素： 1.k值的选取  2.距离度量的方式。 一般为欧式距离  3

目录说说集成学习方法有哪些？说说Boosting算法？说说Bagging算法？介绍下AdaBoost、GBDT、XGboost、LightGBM、RF算法？说说Adaboost的优缺点？说说LightGBM与XGBoost的区别？说说XGBoost、GBDT的区别？说说XGBoost的block结构？说说随机森林与GBDT区别？说说GBDT是否适合于处理大规模的ID特征？说说GBDT算法步骤？说说GBDT为什么使用决策树作为基学习器？说说GBDT的G梯度的向量长度为多少？说说LightGBM的直方图排序后会

目录说说线性回归？说说独立同分布？推导线性回归？说说线性回归优缺点？说说逻辑回归？推导逻辑回归？说说逻辑回归的优缺点？说说回归与分类的区别？说说逻辑回归中是否需要特征归一化？说说如何优化逻辑回归性能？说说逻辑回归的特征离散化？说说最小二乘法在什么条件下与极大似然估计等价？说说逻辑回归可以将参数初始化为0吗？说说逻辑回归为什么不用平方损失函数？说说逻辑回归与线性回归关系？说说线性回归？ 概念： 线性回归是用一条高维一次曲线/曲面去拟合变量之间的关系。利用线性回归方程的最小平方函数对一个或多个自变量和

目录说说代价函数的作用？说说代价函数为什么要非负？说说你知道的代价函数？说说损失函数是什么？说说损失函数作用？说说你知道的损失函数？说说用于回归的损失函数？说说用于分类的损失函数？说说检测与分割中的损失函数？说说交叉熵函数与最大似然函数的联系和区别？用公式说明下交叉熵函数与最大似然函数联系？说说Sigmoid作为激活函数时为什么要用交叉熵损失函数而不用均方误差损失函数？说说代价函数的作用？ 1.为得到训练逻辑回归模型的参数，需要一个代价函数，通过训练代价函数来得到参数。  2.用于找到最优解的目的

目录说说激活函数作用？说说激活函数为什么需要非线性函数？说说你知道的激活函数以及各自特点、适用场景？说说ReLU6?说说ELU指数线性单元特点？说说Sigmoid的缺点，以及如何解决？说说ReLU在零点可导吗，如何进行反向传播？Sigmoid求导推导一下？Softmax求导推导一下？说说Softmax溢出怎么处理？说说激活函数有哪些性质？说说如何选择激活函数？说说ReLU函数的特点？说说什么时候用线性激活函数？说说怎么理解ReLU负半区间也是非线性激活函数？说说Softmax 函数如何应用于多分类？说说激

目录说说优化函数的作用？说说梯度下降法的作用？说说梯度下降法算法步骤？说说你知道的优化函数？展开说说梯度下降、批次梯度下降、随机梯度下降？说说Batch的影响？说说批量梯度下降与随机梯度下降区别？说说哪些方法对梯度引入动量进行改进？说说哪些方法对学习率引入动量进行改进？说说各优化器在优化什么以及大致优化步骤？说说SGD和Adam的对比？说说Adam的二阶矩原理？说说优化函数的作用？ 损失函数是用来度量模型预测值和真实值间的偏差，偏差越小，模型越好，所以需要最小化损失函数。如何求最小值呢？我们知道对于凸

目录说说过拟合与欠拟合？说说什么是正则化？说说正则化的作用？说说有哪些解决过拟合问题的方法？说说L1（lasso）与L2（ridge）正则的区别？说说L1与L2为什么对于特征选择有着不同方式？说说L1正则的缺点？说说L1为什么可以让模型稀疏？说说L1与L2符合什么分布？说说BN（Batch Normolization）？BN训练与测试有什么不同？说说BN/LN/IN/GN？说说Dropout改进？说说BN与Dropout联合使用？说说方差偏移？说说Dropout的补偿？说说BN的γ\gammaγ与β\bet

目录说说什么是网络参数初始化？说说为什么需要合理的参数初始化？说说理想的参数初始化应该是什么？说说你知道的初始化方法？说说全0初始化？说说等值初始化？说说随机初始化？说说随机初始化缺陷？说说Xavier初始化？说说He初始化？用公式说明梯度消失与梯度爆炸（手推）？说说为什么要归一化？说说为什么归一化能提高最优解的求解速度？说说归一化的类型？说说局部响应归一化作用？说说什么是批归一化？说说批归一化（BN）算法流程？说说什么是网络参数初始化？ 神经网络在训练时，前向传播和反向传播涉及每个神经元的权重更新w

目录说说什么是卷积？说说图像卷积过程？说说卷积层基本参数？说说卷积操作后图像大小计算方式？说说卷积神经网络中的权重共享？说说上采样中的反卷积？说说空洞卷积？说说空洞卷积输出计算公式？说说深度可分离卷积？说说可分离卷积与常规卷积的计算量？说说为什么可分离卷积中Depthwise卷积后还要进行pointwise卷积？说说分组卷积？说说三维卷积？说说1x1卷积作用？说说卷积的底层实现/加速技巧？说说卷积神经网络的特点？手推卷积实现原理？说说什么是卷积？ 在数学中，称 (f∗g)(n)(f * g)(n)(f

目录说说什么是池化？说说池化层的作用？说说平均池化？说说最大池化？说说Stochastic pooling(随机池化)说说重叠池化？说说空间金字塔池化？说说ROI Pooling说说最大池化与平均池化是如何进行反向传播的？说说卷积层与池化层的区别？说说池化操作对输出特征图的计算方式？说说什么是池化？ 池化通常也称子采样(Subsampling)或降采样(Downsampling)，在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象

说说相机标定？1.坐标系像素坐标系：数字图像在计算机内部存储的形式类似于像素坐标系；图像坐标系：将像素坐标系的中心平移到中心，就得到了图像坐标系，此坐标系可以方便地反映出物体地尺寸信息；相机坐标系：相机坐标系算是比较难理解的一个。相机坐标系中心 与图像坐标系中心 的连线就是Z轴，x和y轴分别平行。并且 和 连线的距离就是焦距 。世界坐标系：安装相机时，会分别绕相机坐标系的X、Y、Z轴做平移和旋转操作，最后得到世界坐标系。说说图像的边缘是什么？ 边缘一般是指图像在某一局部强度剧烈变化的区域。

目录说说分类模型评估有哪些常用方法？说说回归模型评估有哪些常用方法？说说混淆矩阵？说说错误率与精度？说说查准率、查全率、F1-Score？说说如何计算TPR与FPR？说说ROC与AUC？说说ROC曲线如何画？说说AUC的定义？说说如何计算AUC？说说AUC的两种计算方法？说说AUC优缺点？说说为什么ROC曲线对正负样本比例不敏感？说说PR曲线图？说说AP与mAP？说说分类模型评估有哪些常用方法？指标描述Accuracy准确率Precision精准度/查准率Recall

目录说说经典分类网络有哪些？说说LeNet-5？说说AlexNet？说说Network in Network？说说VGGNet？说说GoogLeNet？说说ResNet?说说Inception系列？说说DenseNet？说说Xception？简要说说MobileNet系列？说说ShuffleNet？说说SENet？说说经典分类网络有哪些？ LeNet-5->AlexNet->Network in Network->VGGNet->GoogLeNet->ResNet-&gt

目录说说目标检测领域几大任务？说说目标检测算法有哪些分类？说说Single Shot MultiBox Detector（SSD）？说说DSSD？说说You Only Look Once v1（YOLOv1）说说YOLOv2？说说YOLOv3？说说YOLOv4?说说R-CNN？说说Fast R-CNN？说说Faster R-CNN？说说Faster R-CNN 训练和测试的流程有什么不一样？说说Fast R-CNN中的RoI Pooling？说说非极大值抑制流程？手推NMS？说说Anchor锚框？说说Anc

目录说说图像分割有哪几类？说说为什么传统CNN的输入图片是固定大小？说说FCN？说说SegNet？说说使用池化层进行上采样的优势？说说U-Net？说说PSPNet？说说DeepLab v1？说说DeepLab v2？说说DeepLab v3？说说Mask R-CNN？说说RoIAlign？说说图像分割有哪几类？ 1.语义分割：为图像中的每个像素分配一个类别，如把画面中的所有物体都指出它们各自的类别。 2.实例分割：与语义分割不同，实例分割只对特定物体进行类别分配，这一点与目标检测有点相似，但目标检

目录说说你知道的特征工程？说说遇到缺值的情况如何处理？说说机器学习中解决样本不均衡问题的方法？说说深度学习中解决样本不均衡问题的方法？说说如何解决训练样本少的问题？说说常见的特征筛选方法？说说特征选择的目的？说说训练时出现Nan的原因？说说怎么找出相似性高的特征并去掉？说说你知道的特征工程？ 1.数据预处理 处理缺失值  图片数据扩充  处理异常值  处理类别不平衡问题 2.特征缩放 归一化  正则化 3.特征编码 序号编码(Ordinal Encoding) 

目录说说你知道的模型压缩方法？说说模型压缩的作用与意义？说说低秩近似？说说剪枝与稀疏约束？说说参数量化方法？说说二值网络？说说知识蒸馏？说说降低网络复杂度但不影响精度的方法？说说模型优化加速方法？说说TensorRT加速原理？说说你知道的模型压缩方法？ 模型压缩是指利用数据集对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署再受限的硬件环境中。  1.低秩近似  2.剪枝与稀疏约束  3.参数量化