请选择 进入手机版 | 继续访问电脑版

fairMOT网络结构分析

[复制链接]
蝶蝶已蝶已蝶蝶 发表于 2020-12-31 17:52:38 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
最近比力渺茫,那么就先把fairMOT研究透彻吧!本博客针对fairMOT一些技术细节举行分析,力图透彻简洁!

通俗易懂的fairMOT



一、fairMOT

之所以叫fairMOT,此中的fair的意思是,在以往的MOT框架中,作者发现了检测任务和reID任务之间的特征不公平特征辩说问题,于是本文办理的一个问题就呼之欲出了,那就在single-shot的深度网络中办理了特征不对齐的问题,作者采取了Anchor-free的目标检测器,也是因为Anchor在目标检测和identity embedding中的应用。

  上图是网络的整体结构,一目了然,检测部门和re-ID是同时举行的。
1.1、基准网络

这个网络实在就是个特征提取网络,搞深度学习最根本的一步,对于输入图像如那边理处罚,某种水平上能决定网络性能的好坏,输入的图片维度是                                       H                                   i                            m                            a                            g                            e                                           H_{image}               Himage​X                                       W                                   i                            m                            a                            g                            e                                           W_{image}               Wimage​,颠末Backbone网络后,维度变为                              C                      ×                      H                      ×                      W                          C \times H \times W               C×H×W,此中宽高变为原来的1/4。基准网络采取DLA-34,这是ResNet-34与魔改版DLA网络的联合版,别的上采样部门的卷积核均被替换成可变形卷积。
1.2、检测分支

我们的检测分支建立在CenterNet的[10]之上,但也可以使用其他无锚的方法,如文献[16]、[18]、[47]、[48]。我们将扼要形貌使这项工作自包罗的方法。特别地,在DLA-34中附加三个平行的头,分别用来估计热图、对象中心偏移量和界限盒巨细。每个头部通过对DLA-34的输出特征应用一个3x3卷积(256通道),然后使用一个1x1卷积层生成最终目标来实现。
1.2.1、热度图Head

这个Head负责估计物体中心的位置。本文采取基于热图的表现方法,这是地标点估计任务的事实标准。特别地,热度图的尺寸为                              1                      ×                      H                      ×                      W                          1 \times H \times W               1×H×W。如果热图中某一位置与地面真实物体中心坍塌,则该位置的响应预计为1。响应随着热图位置和对象中心之间的间隔呈指数衰减。(这段没看太懂
下面这段是对寻找中心点的训练。

这部门是为了在热度图中寻找目标的中心位置。
1.2.2、Box Offset and Size Heads

Box offset Head的目标是更准确地定位对象。由于最终特征图的步幅是4,它将引入最多4个像素的量化误差。该分支估计每个像素相对于对象中心的一连偏移量,以减轻降采样的影响。Box size Head负责估计每个位置的目标盒子的高度和宽度。

从训练来讲,网络的输出和真实值举行比力,一个是size的输出和GT值,一个是offset的输出和GT值,那么损失函数自然而来就来了:

1.3、reID分支

Re-ID branch的目标是生成可以或许区分物体的特征。理想情况下,差异对象之间的关联性应该小于相同对象之间的关联性。为了实现这一目标,我们在骨干特征上应用128个核的卷积层来提取每个位置的re-ID特征。界说得到的特征图为                              E                      ∈                               R                                   128                            ×                            W                            ×                            H                                           E \in R^{128 \times W \times H}               E∈R128×W×H,以{x,y}为中心的对象的re-ID特征                                       E                                   x                            ,                            y                                       ∈                               R                         128                                  E_{x,y}\in R^{128}               Ex,y​∈R128可以从feature map中提取。
1.3.1、reID损失

我们通过分类任务来学习reID特征。训练会集具有相同标识的所有对象实例都被视为相同的类。对于每个GT box                                        b                         i                              =                      (                               x                         1                         i                              ,                               y                         1                         i                              ,                               x                         2                         i                              ,                               y                         2                         i                              )                          b^i = (x_1^i,y_1^i,x_2^i,y_2^i)               bi=(x1i​,y1i​,x2i​,y2i​),在图像中,我们得到热图上的对象中心,我们提取重新识别特征向量,并学习将其映射到一个类分布向量P = {                              p                      (                      k                      )                      ,                      k                      ∈                      [                      1                      ,                      K                      ]                          {p(k),k \in [1,K]}               p(k),k∈[1,K]}。界说GT类标号的one-hot表现为                                       L                         i                              (                      k                      )                          L^i(k)               Li(k)。损失函数为:

此中K为类数。在我们的网络训练过程中,我们只使用位于对象中心的identity embedding向量举行训练,因为fairMOT在测试时可以从对象heatmap中得到对象中心
  先分享到这里!

来源:https://blog.csdn.net/qq_33949900/article/details/111983886
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )