论文阅读:LAPFormer: A Light and Accurate PolypSegmentation Transformer

news/2024/7/19 9:42:17 标签: 论文阅读, transformer, 深度学习

这是一个基于Transformer的轻量级图像分割模型。作者们使用MiT(Mix Transformer)作为编码器,并为LAPFormer设计了一个新颖的解码器,该解码器利用多尺度特征,并包含特征精炼模块和特征选择模块,以生成精细的息肉分割掩码。

1,模型的整体结构:

LAPFormer模型的整体结构是一个编解码器(Encoder-Decoder)架构,其中编码器基于Transformer,而解码器则是一个新颖的CNN结构。

2,编码器:

编码器分支会输出四个分辨率不同的特征图,用于捕捉不同尺度的特征。

其中MiT使用卷积核而不是位置编码(Positional Encoding, PE),这样做是为了在测试分辨率与训练分辨率不同时避免性能下降。卷积层被认为更适合于为Transformer提取位置信息。

MiT使用4x4的小图像块作为输入,这被证明有利于密集预测任务,如语义分割。

3,解码器:

解码器部分包含:特征精炼模块(FRM),特征选择模块(FSM),渐进特征融合(PFF)和低层连接。

1)特征精炼模块(FRM):

结构如下:

作用是增强局部特征并减少噪声。

2)特征选择模块(FSM)

在预测之前,FSM通过加权向量强调重要特征图并抑制冗余信息,从而帮助网络集中注意力于重要区域。本质是一个注意力机制。

3)渐进特征融合(PFF)

逐步融合来自上层和下层尺度的特征,减少低分辨率、高语义特征图与高分辨率、低语义特征图之间的信息差距。

4)低层连接

通过跳跃连接将FSM的输出特征图与渐进特征融合中的最低层特征图连接起来,以增强模型对息肉边界的预测能力。

4,实验结果:


http://www.niftyadmin.cn/n/5424848.html

相关文章

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的远距离停车位检测系统(深度学习代码+UI界面+训练数据集)

摘要:开发远距离停车位检测系统对于提高停车效率具有关键作用。本篇博客详细介绍了如何运用深度学习构建一个远距离停车位检测系统,并提供了完整的实现代码。该系统基于强大的YOLOv8算法,并对比了YOLOv7、YOLOv6、YOLOv5,展示了不…

ARMv8架构特殊寄存器介绍-0

一、zero 寄存器 零寄存器用作源寄存器时读取零,用作目标寄存器时丢弃结果。您可以在大多数指令中使用零寄存器,但不是所有指令。二、sp寄存器 在ARMv8架构中,要使用的堆栈指针的选择在某种程度上与Exception级别。默认情况下,异…

解决gpt无法发送对话的问题

问题描述 如图,今天登上去发现怎么无法发送消息 解决 可能是cookie问题,重新删除了就行了 cookie删除后,需要重新登录,主题色也重置为原来的白色了

AI在商业逻辑应用中的革命性作用

在今天的商业环境中,我们面临着一系列复杂且瞬息万变的问题。从最初的业务点子产生,到方案的落地实施,每一个环节都充满了不确定性。传统的商业逻辑构建方式,往往耗时耗力,而且容易因为人的主观因素导致效率低下或偏离…

架构师之路:中台和微服务区别

什么是中台架构? 中台架构是一种将业务逻辑和技术能力模块化的架构思想,通过构建统一的中间层服务,将业务能力和技术能力解耦,使得各业务领域的功能和服务能够共享和复用。中台包括业务中台和技术中台两个方面: 业务…

训练专门化的大型语言模型(LLM)现在更简单了

训练专门化的大型语言模型(LLM)现在更简单了 近年来,大型语言模型(LLM)的兴趣激增,但其训练需要昂贵的硬件和高级技术。幸运的是,通过先进的微调技术,如低秩适配(LoRA&a…

JVM从1%到99%【精选】-【初步认识】

目录 1.java虚拟机 2.JVM的位置 3.代码的执行流程 4.JVM的架构模型 5.JVM的生命周期 6.JVM的整体结构 1.java虚拟机 Java虚拟机是一台执行Java字节码的虚拟计算机,它拥有独立的运行机制,其运行的Java字节码也未必由Java语言编译而成。JVM平台的各种语言可以共享Java…

基于Springboot的预报名管理系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的预报名管理系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构&a…