zsy54577的博客

注意力是人类和计算机视觉系统中的重要机制。尽管当前最先进的模型关注通过自由观察行为估计静态概率显著性图，现实场景中充满了类型和复杂性各异的任务，视觉探索是一个影响任务表现的时间过程。为弥合这一差距，我们首次研究和预测人类在执行通用任务时的眼动时间序列（即注视路径），并探讨注视路径如何影响任务表现。我们提出了一种新的深度强化学习方法，用于预测视觉问答任务中导致不同表现的注视路径。在任务引导图的条件下，所提出的模型学习特定问题的注意力模式以生成注视路径。

预测人类注视行为对于构建能够预测用户注意力的人机交互系统非常重要。已经开发出计算机视觉模型来预测人们在搜索目标物体时的注视点。但当目标不存在于图像中时，又该如何处理呢？同样重要的是要了解当人们找不到目标时，他们如何进行搜索，以及何时停止搜索。在本文中，我们提出了一种数据驱动的计算模型，解决了搜索终止问题，并预测了人们在搜索图像中没有出现目标时的搜索注视路径。我们将视觉搜索建模为一个模仿学习问题，并通过一种新的状态表示方法来表示观察者通过注视点所获得的内部知识，称为聚焦特征图（FFMs）。

大多数视觉注意力模型旨在预测自上而下或自下而上的控制，这些控制通过不同的视觉搜索和自由观看任务进行研究。本文提出了人类注意力变换器（Human Attention Transformer，HAT），这是一个能够预测两种形式注意力控制的单一模型。HAT采用了一种新型的基于变换器的架构和简化的视网膜模型，这些共同构建了一种类似于人类动态视觉工作记忆的时空意识。HAT不仅在预测目标呈现和目标缺失视觉搜索中的注视扫描路径以及“无任务”自由观看中表现出色，成为新一代最先进的技术，还使人类注视行为变得可解释。

结合高分辨率和低分辨率的信念图以及注视历史，系统生成动态上下文信念（Dynamic Contextual Beliefs）。：这些动态上下文信念被转换为单热任务嵌入（One-hot Task Embedding），用于识别和定位图像中的特定对象。：最终，系统输出不同对象的信念图，如椅子、冰箱、微波炉和烤箱等，每个对象都有一个20x32的表示。：输入图像被转换为低分辨率版本，用于生成低分辨率的信念图（Low-res Beliefs）。DCB（动态上下文信念）是一个用于累积通过注视获得信息的状态表示组件。

预测人类注视在人与计算机交互（HCI）中非常重要。然而，为了实际服务于HCI应用，注视预测模型必须具备可扩展性、快速性和在空间和时间上准确的注视预测。近期的扫描路径预测模型集中在目标导向的注意力（搜索）上。这类模型在应用上存在限制，主要是因为它们通常依赖于针对所有可能物体的训练目标检测器，以及用于训练的人类注视数据的可用性（这两者都不具备可扩展性）。

Transformer模型的原理主要基于。它的设计不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN），而是通过并行的方式处理序列数据，极大提高了训练效率和性能。

1024程序员节 | 征文#

saccadic scanpath（扫视路径）是人类视觉行为的数据表示，在多个领域受到了广泛关注。扫视路径是一种复杂的眼动追踪数据形式，包括注视位置序列和注视持续时间，结合了图像信息。然而，以前的方法通常面临注视特征的空间错位问题以及关键时间数据的丢失（包括时间相关性和注视持续时间）。在本研究中，我们提出了一种基于Transformer的扫视路径模型SpFormer，以缓解这些问题。首先，我们提出了一种以注视为中心的范式，以提取对齐的空间注视特征并对扫视路径进行标记。

1. Itti背景：基于人类视觉系统的生理特征，Itti模型是视觉显著性研究的奠基之作。 机制：通过提取颜色、亮度和方向等多种视觉特征，构建多个特征图。这些特征图经过抑制和竞争机制处理，形成一个显著性图，最终决定注意力的焦点。 应用：广泛应用于计算机视觉任务，如目标检测和图像分割。2. AWS (Adaptive Whitening Saliency)背景：旨在动态识别重要视觉信息的模型，结合了图像处理和心理学原理。 机制：通过滑动窗口的方式在图像上移动，使用自适应白化技术增强图像特征，

它结合了广度优先搜索的全面性和深度优先搜索的效率，通过估计当前路径代价和到达目标的预估代价，来找到从起点到目标的最短路径。类型的指针，它指向当前节点的父节点。在路径搜索树中，每个节点（除了根节点）都有一个父节点，指向它在树中的直接上级。这个指针用于重建从起点到终点的路径，一旦找到终点，可以通过追踪这些父节点指针回溯到起点。通过构建一个优先队列，A*算法每次从未探索的节点中选择f值最小的节点进行扩展，直至找到目标节点或遍历完整个搜索空间。

目标检测，包括目标检测(OD)、显著目标检测(SOD)和特定类别的目标检测(COD)，是计算机视觉界最基本但最具挑战性的问题之一。在过去的几十年中，研究人员已经做出了巨大的努力来解决这个问题，因为它在其他计算机视觉任务（如活动或事件识别、基于内容的图像检索和场景理解）中得到了广泛的应用。虽然近年来提出了许多方法，但仍然缺乏对所提出的高质量对象检测技术的全面审查，特别是对于基于高级深度学习技术的技术的技术。为此，本文深入研究了该研究领域的最新进展，包括 1）每个子方向的定义、动机和任务；

通过分析不同指标下的表现（如HD-AUC、MMD-AUC），可以识别出算法在哪些方面需要改进，例如，如果发现HD-AUC值较大，说明预测路径与参考路径差异较大，需要优化算法以减少这种差异。：扫描路径相似度（SS）指标，如SS-All和SS-AUC，提供了预测路径与参考路径在整体上相似性的评价。但在您提供的数据中，AUC似乎用于表示形状相似度，这种情况下，较高的AUC值也表示更好的相似度。它反映了观察者的视觉注意力在空间上的变化。HD值越小，表示预测路径与参考路径之间的差异越小，因此HD值越小越好。

darknet_ros 使用教程

torch.nn是专门为深度学习而设计的模块。torch.nn的核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer），也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，从而编写自己的网络/层。下面先来看看如何用nn.Module实现自己的全连接层。

beta=1.0是PyTorch中SmoothL1Loss的默认值。这个值的选择是基于经验和实践的，旨在在L1损失和L2损失之间找到一个平衡点，以便在大多数情况下都能获得良好的性能。调整beta的值可以改变损失函数对误差的敏感度。较小的beta值会使损失函数在误差较小时更加接近L2损失，从而在原点附近更加平滑；较大的beta值则会使损失函数更早地过渡到L1损失的形式，从而减少对大误差的惩罚。

【代码】xml 转 txt ，轻松转变（亲测有效）

学习使用OpenCV绘制不同的几何形状cv.line()，cv.circle()，cv.rectangle()，cv.ellipse()，cv.putText()等。

通常情况下，我们必须用摄像机捕捉实时画面。提供了一个非常简单的界面。让我们从摄像头捕捉一段视频(我使用的是我笔记本电脑内置的网络摄像头) ，将其转换成灰度视频并显示出来。只是一个简单的任务开始。要捕获视频，需要创建一个 VideoCapture 对象。它的参数可以是设备索引或视频文件的名称。设备索引就是指定哪个摄像头的数字。。所以我简单地传0(或-1)。你可以通过传递1来选择第二个相机，以此类推。在此之后，你可以逐帧捕获。但是在最后，不要忘记释放俘虏。第一个参数返回布尔值(True/ False)

使用OpenCV读取图像 展示图像

最受欢迎的激活函数是修正线性单元（Rectified linear unit，ReLU），因为它实现简单，同时在各种预测任务中表现良好。ReLU提供了一种非常简单的非线性变换。