最近有监督的微调方法(SFT)方法显着改善了语言模型在数学推理任务上的表现,即使模型是小规模培训的。但是,通过这种微调增强的特定功能仍然很少理解。在本文中,我们对AIME24数据集上的模型性能进行了详细的分析,以了解推理能力的发展方式 ...
信息检索方法通常依赖于在 MSMARCO 等大型通用领域数据集上训练的单个嵌入模型。虽然这种方法可以产生具有合理整体性能的检索器,但在特定领域数据上训练的模型通常会在各自的领域内产生更好的结果。虽然信息检索领域的先前工作已经通过多任务训练解决了这个问题,但组合多个特定领域专家检索器的主题仍然未被探索,尽管它在语言模型生成中很受欢迎 ...
我们提出了一种提示,这是一种新颖的对比学习方法,用于学习更好的句子表示。我们首先分析了原始BERT嵌入当前句子的缺点,并发现它主要是由于静态 Token 嵌入偏见和无效的BERT层。然后,我们提出了第一个基于快速的句子嵌入方法,并讨论了两个表示方法的提示和三个提示方法,以使Bert实现更好的句子嵌入 ...
将大型语言模型(LLM)与自动语音识别(ASR)集成的最新进展(ASR)在一般领域中表现出色。虽然所有模型参数的监督微调(SFT)通常用于将基于LLM的ASR预先训练的ASR模型调整为特定域,但它施加了高计算成本,并且显着降低了其在一般域中的性能。在本文中,我们提出了一种新型的参数多域微调方法,用于将预先培训的LLM基于LLM的ASR模型调整为具有灾难性遗忘的多个域名\ textit {hdmol ...
随着嵌入式人工智能(EAI)研究的最新发展,对高质量、大规模交互场景生成的需求不断增长。虽然场景合成中的现有方法优先考虑生成场景的自然性和真实性,但场景的物理合理性和交互性在很大程度上尚未得到探索。为了解决这一差异,我们引入了 PhyScene,这是一种致力于生成交互式 3D 场景的新颖方法,其特点是逼真的布局、铰接的对象以及为具体代理量身定制的丰富的物理交互性 ...
多年来,研究人员一直致力于概括的对象感知和操纵,在这些物体的感知和操纵中,跨类别的普遍性是高度期望但尚未得到充实的。在这项工作中,我们建议通过可推广且可操作的零件(Gaparts)学习此类跨类别技能。通过识别和定义9个Gapart类(盖,手柄等 ...
软件漏洞是一个严重和关键的问题。通常,在由数百或数千个源代码语句组成的程序或功能中,只有少数语句引起相应的漏洞。在机器学习工具的帮助下,专家在功能或程序级别上完成了大多数脆弱性标签的方法 ...
本文调查了地震激发下踩踏柔性帧的非线性动力学。不能保证跨阶梯框架峰值准动态位移的常规迭代方法会融合。为了解决这一限制,我们提出了封闭形式的解决方案和稳定性标准,以衍生弹性帧的位移响应 ...