文章目录

• 摘要
• 1、简介
• 2、相关工作
• • 2.1 Vision Transformer
  • 2.2 线性注意力
• 3. 预备知识
• • 3.1. 视觉Transformer和自注意力
  • 3.2. 线性注意力
• 4. 聚焦线性注意力
• • 4.1.聚焦能力
  • 4.2. 特征多样性
  • 4.3. 聚焦线性注意力模块
• 5. 实验
• • 5.1. ImageNet-1K分类
  • 5.2. 语义分割
  • 5.3. 目标检测
  • 5.4. 与其他线性注意力的比较
  • 5.5. 推理时间
  • 5.6. 消融实验
• 6. 结论
</