BagDINO: Multi-View Baggage Re-Identification with DINOv3

• 基于标签的追踪无法在标签缺失、损坏或检查时不可用的情况下直接支持基于图像的识别。现有追踪记录包括 Acceptance、Load、Transfer 和 Arrival 等检查节点。出处：§I · p. 1
• 在受控登记过程中采集的少量行李图像，可构成图像库，用于后续匹配机场摄像头采集的查询图像。登记图像具有稳定的视角、光照和背景条件。出处：§I · p. 1
• 行李 ReID 必须利用细粒度线索区分外观近乎相同的物品，而视角变化、遮挡、模糊、光照变化和杂乱背景都可能掩盖这些线索。实例特有线索包括贴纸、表面磨损和细小损伤。出处：§I · p. 1
• 所提出的多摄像头实例检索流程将 DINOv3 ViT-L/16 表征与 Torchreid 风格的 BNNeck 头结合，并在冻结骨干网络权重的同时，对选定投影层进行 LoRA 更新。适配配置评估了对 qkv、proj、fc1 和 fc2 的 LoRA 更新。出处：§I · pp. 1–2
• 在 MVB 上，LoRA 达到 0.88 mAP 和 0.87 Rank-1；相比之下，冻结设置达到 0.57 mAP 和 0.60 Rank-1。该研究还在统一训练方案下比较了部分微调和全量微调。出处：§I · p. 2

• MVB 包含来自真实机场多摄像头环境的 4,519 个身份和 22,660 张图像，存在域偏移，以及视角、光照、遮挡、模糊和杂乱背景等显著变化。不同身份的行李外观往往高度相似，而同一身份在不同视角下也可能存在显著差异。出处：§II · p. 2
• 经典 MVB 方法改造基于 CNN 的 ReID 流程；注意力、多粒度特征和多视角损失则用于补充局部线索并增强跨视角判别能力。Mazzeo et al. 结合全局与局部特征；QuadNet 使用多视角四元组损失和视角感知局部特征。出处：§II · p. 2
• 跨域方法结合域鲁棒特征学习、难样本挖掘和相机感知重排序，以提升 MVB 上的 mAP 和 Rank-1。CDR-CARNet 是这一方向的一个例子。出处：§II · p. 2
• RGViT 将局部证据聚合为区域 token，并对空间关系建模；其在 MVB 上报告的 Rank-1 为 88.7%，mAP 为 89.6%。其四元组目标函数针对近重复实例设计 。出处：§II · p. 2
• 本文认为，改造行人 ReID 方法可能遗漏行李特有线索，因为行李的结构先验较弱、类别相似，且搬运过程中常出现遮挡或变形。本文指出，需要专门设计特征学习方法，以捕捉整体结构和细微的局部差异。出处：§II · p. 2

• BagDINO旨在增强模型对视角变化、背景杂乱以及不同身份行李外观相似性的鲁棒性。其目标是在真实机场场景中实现更可靠的实例匹配。出处：§III · p. 2
• 骨干网络采用DINOv3基础模型，并通过低秩适配（LoRA）进行参数高效微调。出处：§III · p. 2
• ReID头基于骨干网络的patch token生成最终嵌入表示，训练时结合三元组损失与交叉熵损失。出处：§III · p. 2

A. 主干网络与 LoRA 微调

• DINOv3 提供视觉主干网络，其采用自监督预训练，所得表征被认为可迁移至不同视觉任务 。该流程使用其 [CLS] token 作为全局图像表征。出处：A. Backbone and LoRA Fine-Tuning · p. 2, Figure 1 · p. 3
• 由于 MVB 训练集规模相对较小，且对大型 ViT 进行全量微调计算开销较大，因此选择 LoRA 。出处：A. Backbone and LoRA Fine-Tuning · p. 2
• LoRA 在选定的 Transformer 投影层中加入可训练的低秩矩阵，同时冻结预训练权重；其零初始化更新采用 B = 0 和随机高斯初始化的 A [6]。秩 r 控制可训练参数量，其中 r ≪ min(d, k)，而 α 控制适配幅度。出处：A. Backbone and LoRA Fine-Tuning · p. 3
• 适配器作用于 qkv、proj、fc1 和 fc2，BNNeck 头则通过身份交叉熵和 batch-hard 三元组损失进行训练。推理时移除分类器，并使用归一化嵌入对图库图像排序，例如依据余弦相似度进行排序。出处：A. Backbone and LoRA Fine-Tuning · p. 3, Figure 1 · p. 3

B. 重识别头

• 该头使用 [CLS] token 作为全局图像描述符，再将其输入重识别头。该 token 通过自注意力聚合不同空间位置的信息。出处：B. Re-Identification Head · p. 3
• 推理时会移除分类器，并按图库图像与查询嵌入之间的 cosine similarity 对图库图像排序。backbone 和 BNNeck 分别对查询图像与图库图像进行嵌入，生成匹配列表。出处：B. Re-Identification Head · p. 3, Figure 2 · p. 3
• BNNeck 将用于度量学习的特征与用于身份分类的特征分离。仅在训练期间使用线性分类器，每个训练身份对应一个输出。出处：B. Re-Identification Head · p. 3

C. 损失函数

• 身份损失对 BN 后的特征应用带标签平滑的交叉熵。标签平滑可避免模型对训练身份作出过度自信的预测。出处：C. Loss Function · p. 4
• Batch-hard 三元组损失针对每个小批次中的锚点，选取同一身份中最难的正样本和不同身份中最难的负样本。该损失采用欧氏距离和间隔。出处：C. Loss Function · p. 4
• 总目标是身份分类损失与度量学习损失的加权和。λ 控制度量学习项的相对贡献。出处：C. Loss Function · pp. 3–4

A. MVB 数据集

• MVB 包含 4,519 个身份和 22,660 张图像，涵盖多种行李类型，来自两个存在域差异和类内变化的采集点。差异包括视角、光照、遮挡、运动模糊和背景杂乱。出处：A. MVB Dataset · p. 4

B. 实验设置

• 评估采用官方 MVB 训练集/查询集/图库划分，并报告 mAP 以及 Rank-1、Rank-5 和 Rank-10 的 CMC。统一训练方案采用身份分类和 batch-hard 三元组损失，将图像缩放至 256 × 256，并训练 80 个周期。出处：A. MVB Dataset · p. 4, B. Experimental Setup · p. 4

A. MVB 数据集

• 查询图像与图库图像的示例配对展示了行李的多样性，以及不同采集条件下的差异。该基准包含 BHS/传送带和检查点视角。出处：Figure 3 · p. 4, A. MVB Dataset · p. 4

B. 实验设置

• LoRA 更新被注入骨干网络的 qkv、proj、fc1 和 fc2 投影层。低秩更新的秩为 16，α = 32。出处：B. Experimental Setup · p. 4

C. 渐进式研究

• 冻结 DINOv3 backbone 基线达到 0.57 mAP，Rank-1/5/10 为 0.60/0.80/0.87，优于原始 MVB 基线 。此配置仅训练 ReID head。出处：C. Progressive Study · p. 4
• LoRA 达到 0.88 mAP 和 0.87 Rank-1，优于冻结配置（0.57 mAP，0.60 Rank-1）、部分微调（0.83 mAP，0.83 Rank-1）和全量微调（0.85 mAP，0.86 Rank-1）。LoRA 的 Rank-5/10 也达到 0.96/0.98；部分微调为 0.95/0.97，全量微调为 0.95/0.96。出处：C. Progressive Study · pp. 4–5
• 部分微调达到 0.83 mAP，Rank-1/5/10 为 0.83/0.95/0.97；但论文指出，可能需要更多数据才能在适配时避免泛化能力下降。此配置中，backbone 的 75% 保持冻结，其余部分以保守的学习率更新，并采用更强的权重衰减。出处：C. Progressive Study · p. 5
• 全量微调达到 0.85 mAP，Rank-1/5/10 为 0.86/0.95/0.96；论文认为，在训练数据有限且视觉相似度高的情况下，LoRA 更稳定、有效。在保守的优化策略下，所有 backbone 参数均解除冻结。出处：C. Progressive Study · p. 5

D. 错误分析

• 当不同的行李身份具有近乎重复的形状、材质和颜色线索时，会出现高置信度检索错误，从而在嵌入空间中形成距离很近的邻居。论文展示的示例包括查询图像、其真实图库匹配项，以及相似度 ≳78% 的排名靠前错误检索结果。出处：D. Error Analysis · p. 5, Figure 4 · p. 5

E. 结果总结

• 基于 LoRA 的适配取得了 0.88 mAP 和 0.87 Rank-1，是所测试 MVB 设置中综合权衡最佳的方案。在相同训练方案下，冻结、部分微调和全量微调仍具竞争力，但表现均不及 LoRA。出处：E. Results Summary · p. 5, Table I · p. 6
• BagDINO + LoRA 与此前的 MVB 研究相比具有竞争力，在采用参数高效适配的同时，取得了接近已发表最强方法的结果。Table II 对比了代表性方法的 mAP 和 Rank-1。出处：E. Results Summary · p. 5, Table II · p. 6
• 方法对比体现了不同的设计权衡：BagDINO 冻结 DINOv3 backbone，仅进行有限的低秩更新；而部分方法会加入 RGViT 等架构模块。论文指出，基准测试分数的差异并非各方法之间唯一的区别。出处：E. Results Summary · p. 5
• 在 Market-1501 上所考察的行李 ReID 方法中，BagDINO + LoRA 的 mAP 和 Rank-1 最高。该评估被作为域外验证呈现，而非与 MVB 进行域内比较。出处：E. Results Summary · p. 6, Table III · p. 6

V. 结论

• 0.88 mAP 和 0.87 Rank-1：在 MVB 上，LoRA 适配在受测配置中取得整体最优结果。训练数据有限时，训练过程仍保持稳定。出处：§V · p. 6
• 测试划分中每个身份对应的 gallery 图像数量有限，因此固定 top-k 下的纯度本质上较为保守。出处：§V · p. 6
• 剩余的失败案例通常涉及视觉上近乎重复的行李；未来评估可采用更大的注册模板，并加入消歧机制。可采用的机制包括更强的细粒度线索、重排序或辅助监督，同时不牺牲检索效率。出处：§V · p. 6