Building 6G Radio Foundation Models with Transformer Architectures

基础深度学习 (DL) 模型是通用模型，旨在学习其目标模态的通用、稳健和适应性强的表示，从而能够对一系列下游任务进行微调。这些模型使用自我监督学习 (SSL) 在大型、未标记的数据集上进行预训练。基础模型已经表现出比传统监督方法更好的泛化能力，这是动态环境要求模型适应性的无线通信的关键要求 ...

Generative AI Enabled Matching for 6G Multiple Access

在无线网络中，应用深度学习模型来解决不同实体之间的匹配问题已成为主流且有效的方法。然而，6G多址接入中复杂的网络拓扑对匹配生成的实时性和稳定性提出了重大挑战。生成人工智能（GenAI）在图特征提取、探索和生成方面表现出了强大的能力，为图结构匹配生成提供了潜力 ...

Fairness-Utilization Trade-off in Wireless Networks with Explainable Kolmogorov-Arnold Networks

用户传输功率的有效分配对于 6G 无线网络的出现带来的重大进步至关重要。在最近的研究中，深度神经网络（DNN）已被用来应对这一挑战。然而，这些方法在决策时经常遇到公平性和计算效率低下的问题，使得它们不适合未来严重依赖于每个用户参与的动态服务 ...

FAN: Fourier Analysis Networks

尽管神经网络，特别是以 MLP 和 Transformer 为代表的神经网络取得了显着的成功，但我们发现它们在周期性建模和推理方面表现出潜在的缺陷，即它们倾向于记住周期性数据，而不是真正理解周期性的基本原理 ...

Enhancing In-vehicle Multiple Object Tracking Systems with Embeddable Ising Machines

自动移动车辆所需的跟踪多个物体的认知功能包括物体检测及其时间关联。虽然机器学习最近在阐述已识别的对象与当前视频帧中检测到的对象之间的相似性矩阵方面取得了巨大进展，但最终确定时间关联的分配问题却进展较少，这是一种组合优化问题。在这里，我们展示了一个车载多目标跟踪系统，具有灵活的分配功能，用于跟踪多个长期遮挡事件 ...

Neural Networks as Spin Models: From Glass to Hidden Order Through Training

我们探索神经网络（NN）和统计机械自旋模型之间的一对一对应关系，其中神经元映射到伊辛自旋，权重映射到自旋-自旋耦合。训练神经网络的过程会产生一系列由训练时间参数化的自旋哈密顿量。随着训练的进行，我们研究磁性相和熔化转变温度 ...

Multi-Modal Transformer and Reinforcement Learning-based Beam Management

波束管理是无线通信系统中提高信号强度和减少干扰的重要技术。最近，人们对使用多种传感方式进行光束管理越来越感兴趣。然而，有效处理多模态数据并提取有用信息仍然是一个巨大的挑战 ...

Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction

动力系统（DS）理论是许多科学和工程领域的基础。它可以提供对随时间演化的系统行为的深入见解，通常由微分方程或递归方程描述。促进 DS 模型的数学易处理性和可解释性的常见方法是将非线性 DS 分解为通过切换流形分隔的多个线性 DS，即 ...

The Lorenz system as a gradient-like system

对于连续时间动力系统，我们制定了成为类梯度系统的充分条件，即所有有界轨迹都接近静止点，因此周期轨道、混沌吸引子等都接近静止点 ...

Deep Generative Modeling for Identification of Noisy, Non-Stationary Dynamical Systems

许多科学和工程领域的一个重大挑战是通过以微分方程的形式恢复控制方程来理解与时间相关的测量数据。我们专注于寻找非线性、噪声和非自主动力系统的简约常微分方程（ODE）模型，并提出一种用于数据驱动系统识别的机器学习方法。虽然许多方法可以处理噪声和有限的数据，但非平稳性（微分方程参数随时间变化）受到的关注较少 ...