sfusion专题

SFusion论文速读

SFusion: Self-attention Based N-to-One Multimodal Fusion Block 摘要 人们用不同的感官感知世界,例如视觉、听觉、嗅觉和触觉。处理和融合来自多种模式的信息使人工智能能够更轻松地理解我们周围的世界。然而,当缺少模态时,可用模态的数量在不同情况下是不同的,这导致了N对1的融合问题。 本文提出了一种基于自注意力的融合块,称为SFusion