面试题：计算机视觉图像处理CV

日萌社

 

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

项目面试题
1.对python代码进行加速优化时的选择有哪些？
答：numba是一个用于编译Python数组和数值计算函数的编译器，这个编译器能够大幅提高直接使用Python编写的函数的运算速度。numba使用LLVM编译器架构将纯Python代码生成优化过的机器码，通过一些添加简单的注解，将面向数组和使用大量数学的python代码优化到与c，c++和Fortran类似的性能，而无需改变Python的解释器。

2.请简述多目标跟踪的分类和常用方法
答：分类：
常见的初始化方法分为两大类，一个是Detection-Based-Tracking(DBT),一个是Detection-Free-Tracking(DFT)，其中，DBT的方式就是典型的tracking-by-detection模式，即先检测目标，然后将目标关联进入跟踪轨迹中。那么就存在两个问题，第一，该跟踪方式非常依赖目标检测器的性能，第二，目标检测的实质是分类和回归，即该跟踪方式只能针对特定的目标类型，如：行人、车辆、动物。DBT则是目前业界研究的主流。DFT是单目标跟踪领域的常用初始化方法，即每当新目标出现时，人为告诉算法新目标的位置，这样做的好处是target free，坏处就是过程比较麻烦，存在过多的交互，所以DBT相对来说更受欢迎。
MOT也存在着不同的处理模式，Online和Offline两大类，其主要区别在于是否用到了后续帧的信息。Online Tracking是对视频帧逐帧进行处理，当前帧的跟踪仅利用过去的信息。Offline Tracking会利用前后视频帧的信息对当前帧进行目标跟踪，这种方式只适用于视频，如果应用于摄像头，则会有滞后效应，通常采用时间窗方式进行处理，以节省内存和加速。
    
3.请描述对卡尔曼滤波的理解
答：卡尔曼滤波看做一种运动模型，用来对目标的位置进行预测，并且利用预测结果对跟踪的目标进行修正。卡尔曼滤波器的实现，主要分为预测和更新两个阶段，在进行滤波之前，需要先进行初始化
初始化：
预先设定状态变量和观测变量维度、协方差矩阵、运动形式和转换矩阵
预测：
对状态变量X和协方差P进行预测
更新：
利用观测结果对卡尔曼滤波的结果进行修正

4.请描述sort算法是怎样进行多目标跟踪的
答：SORT核心是卡尔曼滤波和匈牙利匹配两个算法。流程图如下所示，可以看到整体可以拆分为两个部分，分别是匹配过程和卡尔曼预测加更新过程。关键步骤：轨迹卡尔曼滤波预测→ 使用匈牙利算法将预测后的tracks和当前帧中的detecions进行匹配（IOU匹配） → 卡尔曼滤波更新。

5.简述对车辆多目标跟踪流程
答：对输入的视频进行处理，主要包括以下几个步骤：
使用yoloV3模型进行目标检测，然后使用SORT算法进行目标追踪，使用卡尔曼滤波器进行目标位置预测，并利用匈牙利算法对比目标的相似度，完成车辆目标追踪，利用虚拟线圈的思想实现车辆目标的计数，完成车流量的统计。

6.简述相机校正的意义
相机标定的一个目的就是建立像素坐标系和世界坐标系之间的关系。原理是根据摄像机的模型，由已知特征点的图像坐标求解摄像机的模型参数，并求出成像的反过程，从而从图像中恢复出空间点的三维坐标，达到三维重建的目的。
另外相机标定还可以进行图像校正，由于透镜的制造精度以及组装工艺的偏差会引入畸变，导致图形失真，所以我们可以求解畸变参数，对图像进行去畸变

7.简述相机校正的流程
答：标定的流程是：
准备棋盘格数据，即用于标定的图片
对每一张图片提取角点信息
在棋盘上绘制提取到的角点（非必须，只是为了显示结果）
利用提取的角点对相机进行标定
获取相机的参数信息

8.描述下车道线提取的流程
答：针对车载相机获得的道路图像进行提取。
首先对图像进行校正，
利用边缘提取和颜色阈值的方法提取车道线，
利用透视变换将图像转换为鸟瞰图，
利用直方图统计的方法确定左右车道位置，
并利用最小二乘法拟合车道线，并利用透视变换将检测结果绘制在图像上，
最后计算车道线的曲率及车辆偏离车道中央的距离。

9.说下yoloV3模型的检测方法
答：1.yoloV3的多尺度检测方法
在YOLOv3中采用FPN结构来提高对应多尺度目标检测的精度，当前的feature map利用“未来”层的信息，将低阶特征与高阶特征进行融合，提升检测精度。
2.yoloV3模型的网络结构
以darknet-53为基础，借鉴resnet的思想，在网络中加入了残差模块，利于解决深层次网络的梯度问题
整个v3结构里面，没有池化层和全连接层，只有卷积层
网络的下采样是通过设置卷积的stride为2来达到的
3.yoloV3模型先验框设计的方法
采用K-means聚类得到先验框的尺寸，为每种尺度设定3种先验框，总共聚类出9种尺寸的先验框。
4.yoloV3模型为什么适用于多标签的目标分类
预测对象类别时不使用softmax，而是使用logistic的输出进行预测

10.简单介绍常见的单目标跟踪的方法
目标追踪任务是指在一个视频中给出第一帧图像的bbox的位置，在后续的帧中追踪该物体的任务。
目标追踪不同于目标检测的是：
1、需要给出首帧的标定框。
2、只需要给出标定框，后续的搜索范围往往在上一帧图像的附近。
孪生网络是使用深度学习进行目标追踪的重要解决方案，主要包括：孪生网络解决目标追踪开山之作SiamFC、SiamRPN、DaSiamRPN、SiamRPN++，SiamMask，分别是：
siamFC:开山之作
SiamRPN:将入RPN预测位置
DasiamRPN:考虑了样本不平衡的问题
SiamRPN++: 引入深层网络
SiamMask:加入了图像分割的内容