MS-DETR和其他SOTA方法的对比
1. 写在前面
目标检测到底是detr好还是yolo好？感觉也没有一个明确的答案，yolo在不停的平衡精度和效率，detr也在不停的提高实时性。今天笔者为大家推荐一篇最新的detr开源工作ms-detr，通过一对一监督和一对多监督相结合的方式，提高detr的训练效率。
下面一起来阅读一下这项工作
2. 摘要
detr通过迭代地生成基于图像特征的多个候选目标，并为每个真值目标提升一个候选目标，从而实现端到端的目标检测。原始detr中采用一对一监督的传统训练过程缺乏对目标检测候选的直接监督。
我们旨在通过一对一监督和一对多监督相结合的方式，对候选生成过程进行明确监督，从而提高detr的训练效率。我们的方法，即ms - detr，简单，并且对用于推理的主解码器的对象查询进行一对多的监督。与现有的一对多监督的detr变体(如group detr和hybrid detr )相比，我们的方法不需要额外的解码器分支或对象查询。在我们的方法中，主解码器的对象查询直接受益于一对多的监督，因此在对象候选预测方面具有优势。实验结果表明，我们的方法优于相关detr变体，如dn - detr、hybrid detr和group detr，与相关detr变体的结合进一步提高了性能。
3. 效果展示
这篇文章的思想就是使用一对一监督和一对多监督相结合的混合监督。混合监督会产生更好的检测候选。top：box真值。middle：与基线匹配的前20个查询的候选框。bottom：使用ms - detr从前20个查询中选出候选框。可以看出，ms - detr比基线产生了更好的检测候选。
4. 具体原理是什么？
混合监督会产生比基线更低的一对一损失。x轴对应epoch，y轴对应一对一监督的训练损失。虚线和实线分别对应于deformable detr基线和ms - detr的损失曲线。
不同架构的差异。( a )原始detr：采用一对一监督的方式对其进行训练。( b ) ms -- detr：通过混合一对一和一对多监督的方式进行训练。这两种监督都施加在初级解码器上。( c ) detr组和dn - detr组。引入了额外的并行译码器，并对额外的译码器进行一对一的监督。detr和dn - detr可能会使用更多的额外解码器。(d) 混合detr：增加了一个额外的并行译码器，并对额外的译码器施加一对多的监督。
ms-detr的具体实现。( a )对每个解码器层的输出对象查询进行一对一和一对多的监督。( b )对每个稍作修改的解码器层的输出对象查询进行两次监督：首先执行交叉注意力，然后执行自注意力。( c )和( d )对内部对象查询进行一对多监督。cls11和box11是一对一监督的class和box预测子，cls1m和box1m是一对多监督的class和box预测子。
5. 和其他sota方法的对比
ms - detr与一对多( o2m )监督的其他方法在不同基线上的比较。ms - detr一致地改进了各种流行的detr基线。
与其他方法相结合的对比， ms - detr是现有o2m方法的一种补充方法。
6. 总结
这篇文章在原有一对一监督的基础上增加了一对多的监督，用于detr训练。主要特点是显式地监督了对象查询。ms-detr是对相关方法的补充，这些方法主要是修改交叉注意力结构或使用额外的查询或额外的解码器来学习解码器权重。
节能型瞬间高功率输出解决方案
TPP 450B 系列 — 我们推出了全新的 II 级防护型号产品，拓展 TPP 450 系列的产品范围
电动机绕组接线口诀_电动机绕组接线做法
RFID印刷天线技术存在怎样的价值
如何才能提高计算机视觉的精确度？并让它发挥更大的作用呢？
MS-DETR和其他SOTA方法的对比
糖果猫手机应用试玩平台 下载APP赚取广告分成
Ikanos与picoChip共同推进家庭基站市场
液晶面板国产化加速，和成显示未来三年仍将持续受益
AWE 2023上海展直击：康盈半导体全明星阵容亮相 智慧生活芯场景备受关注
宏狗GrandDog加密狗复制多少钱？
台积电： 5纳米才是目前发展重点；董明珠自曝格力2月损失200亿…
基于计算机技术和SCSI硬盘控制器实现遥感卫星快视设备的系统设计
几种测量变压器直流电阻的方法
如何解决国内工业机器人人才荒?
什么是DCS？DCS和PLC控制器的差别分析
智慧养老5G+蓝牙+GPS/北斗RTK人员定位系统解决方案解析
大气在线监测设备产品特点介绍
预计半导体行业降幅-66.5％，三星电子营业利润将逆势增长
自镇流LED灯使用注意事项
目标检测到底是detr好还是yolo好？感觉也没有一个明确的答案，yolo在不停的平衡精度和效率，detr也在不停的提高实时性。今天笔者为大家推荐一篇最新的detr开源工作ms-detr，通过一对一监督和一对多监督相结合的方式，提高detr的训练效率。
下面一起来阅读一下这项工作
2. 摘要
detr通过迭代地生成基于图像特征的多个候选目标，并为每个真值目标提升一个候选目标，从而实现端到端的目标检测。原始detr中采用一对一监督的传统训练过程缺乏对目标检测候选的直接监督。
我们旨在通过一对一监督和一对多监督相结合的方式，对候选生成过程进行明确监督，从而提高detr的训练效率。我们的方法，即ms - detr，简单，并且对用于推理的主解码器的对象查询进行一对多的监督。与现有的一对多监督的detr变体(如group detr和hybrid detr )相比，我们的方法不需要额外的解码器分支或对象查询。在我们的方法中，主解码器的对象查询直接受益于一对多的监督，因此在对象候选预测方面具有优势。实验结果表明，我们的方法优于相关detr变体，如dn - detr、hybrid detr和group detr，与相关detr变体的结合进一步提高了性能。
3. 效果展示
这篇文章的思想就是使用一对一监督和一对多监督相结合的混合监督。混合监督会产生更好的检测候选。top：box真值。middle：与基线匹配的前20个查询的候选框。bottom：使用ms - detr从前20个查询中选出候选框。可以看出，ms - detr比基线产生了更好的检测候选。
4. 具体原理是什么？
混合监督会产生比基线更低的一对一损失。x轴对应epoch，y轴对应一对一监督的训练损失。虚线和实线分别对应于deformable detr基线和ms - detr的损失曲线。
不同架构的差异。( a )原始detr：采用一对一监督的方式对其进行训练。( b ) ms -- detr：通过混合一对一和一对多监督的方式进行训练。这两种监督都施加在初级解码器上。( c ) detr组和dn - detr组。引入了额外的并行译码器，并对额外的译码器进行一对一的监督。detr和dn - detr可能会使用更多的额外解码器。(d) 混合detr：增加了一个额外的并行译码器，并对额外的译码器施加一对多的监督。
ms-detr的具体实现。( a )对每个解码器层的输出对象查询进行一对一和一对多的监督。( b )对每个稍作修改的解码器层的输出对象查询进行两次监督：首先执行交叉注意力，然后执行自注意力。( c )和( d )对内部对象查询进行一对多监督。cls11和box11是一对一监督的class和box预测子，cls1m和box1m是一对多监督的class和box预测子。
5. 和其他sota方法的对比
ms - detr与一对多( o2m )监督的其他方法在不同基线上的比较。ms - detr一致地改进了各种流行的detr基线。
与其他方法相结合的对比， ms - detr是现有o2m方法的一种补充方法。
6. 总结
这篇文章在原有一对一监督的基础上增加了一对多的监督，用于detr训练。主要特点是显式地监督了对象查询。ms-detr是对相关方法的补充，这些方法主要是修改交叉注意力结构或使用额外的查询或额外的解码器来学习解码器权重。
节能型瞬间高功率输出解决方案
TPP 450B 系列 — 我们推出了全新的 II 级防护型号产品，拓展 TPP 450 系列的产品范围
电动机绕组接线口诀_电动机绕组接线做法
RFID印刷天线技术存在怎样的价值
如何才能提高计算机视觉的精确度？并让它发挥更大的作用呢？
MS-DETR和其他SOTA方法的对比
糖果猫手机应用试玩平台 下载APP赚取广告分成
Ikanos与picoChip共同推进家庭基站市场
液晶面板国产化加速，和成显示未来三年仍将持续受益
AWE 2023上海展直击：康盈半导体全明星阵容亮相 智慧生活芯场景备受关注
宏狗GrandDog加密狗复制多少钱？
台积电： 5纳米才是目前发展重点；董明珠自曝格力2月损失200亿…
基于计算机技术和SCSI硬盘控制器实现遥感卫星快视设备的系统设计
几种测量变压器直流电阻的方法
如何解决国内工业机器人人才荒?
什么是DCS？DCS和PLC控制器的差别分析
智慧养老5G+蓝牙+GPS/北斗RTK人员定位系统解决方案解析
大气在线监测设备产品特点介绍
预计半导体行业降幅-66.5％，三星电子营业利润将逆势增长
自镇流LED灯使用注意事项