根据Spider等数据集的评估,在文本转SQL的熟悉任务中,模型的性能与使用大型语言模型(LLM)的提示方法之间存在显着差距。为了LLM在推理过程中的表现提高,我们研究了如何有效地将任务拆分为更小的子任务。特别是,我们表明,将生成问题拆分为子问题把这些子问题的解决方案输入到LLM中可以显着提高其性能的有效方法... ...
这份技术报告介绍了我们为台湾普通话构建口语大语言模型 (LLM) 的初步尝试,该模型专门用于在多轮对话中实现实时语音到语音交互。我们的端到端模型采用了仅解码器的 Transformer 架构,旨在实现无缝交互,同时保留对话流,包括允许同时讲话和收听的全双工功能。该论文还详细介绍了训练过程,包括合成对话的数据准备和实时交互的调整 ...
近来,人们目睹大型文本图像扩散模型的强大威力,它具有令人印象深刻的生成高保真图像的能力。然而,仅使用文本提示来生成所需的图像是非常棘手的,因为通常涉及复杂的提示工程。文字提示的替代方案是图像提示,俗话说:“一图胜千言”... ...
随着气候变化预计将加剧火灾天气状况,准确预测全球范围内的野火对于减灾变得越来越重要。在这项研究中,我们利用 SeasFire(一个包含气候、植被、海洋指数和人类相关变量的综合性全球野火数据集)来通过机器学习进行季节性野火预测。为了进行预测分析,我们使用不同的架构训练深度学习模型,以捕获导致野火的时空背景 ...
从 LiDAR 点云学习 3D 场景流存在很大的困难,包括从合成数据集到真实场景的泛化能力差、真实世界 3D 标签的稀缺以及真实稀疏 LiDAR 点云的性能不佳。我们从自动标记的角度提出了一种新颖的方法,旨在为现实世界的 LiDAR 点云生成大量 3D 场景流伪标签。具体来说,我们采用刚体运动的假设来模拟自动驾驶场景中潜在的物体级刚性运动 ...
时间序列预测是一项基于历史数据预测变量未来值的关键任务。时间序列预测技术一直与机器学习社区并行发展,从早期的统计学习方法到当前的深度学习方法。尽管现有方法取得了重大进展,但它们仍然面临两个挑战 ...
受柯尔莫哥洛夫-阿诺德表示定理的启发,我们提出柯尔莫哥洛夫-阿诺德网络(KAN)作为多层感知器(MLP)的有前途的替代品。 MLP 在节点(“神经元”)上具有固定的激活函数,而 KAN 在边缘(“权重”)上具有可学习的激活函数。 KAN 根本没有线性权重——每个权重参数都被参数化为样条函数的单变量函数所取代 ...
社区揭示了其成员与网络中其他社区不同的特征和联系。检测社区在网络分析中具有重要意义。尽管有经典的谱聚类和统计推断方法,但我们注意到近年来用于社区检测的深度学习技术取得了显着发展,以其在处理高维网络数据方面的优势 ...