arxiv CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction

名称
CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction
首页
https://yiyibooks.cn/arxiv/2411.16170v1/index.html
原始地址
https://arxiv.org/pdf/2411.16170
描述
最近,人们在设计高效的线性复杂度视觉 Transformer 方面付出了巨大的努力。然而,当前的线性注意力模型通常不适合部署在资源受限的移动设备中,因为效率提升很少或准确性显着下降。在本文中,我们提出了一种新的解耦 du\textbf{A}l-交互式 linea\textbf{R} att\textbf{E}ntion (CARE) 机制,揭示了特征的解耦和交互可以充分释放线性注意力的力量 ...