大型视力语言模型(LVLM)中缓解幻觉仍然是一个开放的问题。最近的基准测试并未解决开放式的自由形式响应中的幻觉,我们称其为“ I型幻觉”。取而代之的是,他们专注于幻觉响应非常具体的问题格式(通常是针对特定对象或属性的多项选择回答),我们称其为“ II型幻觉” ...
自2019年GPT2--1.5B发明以来,大型语言模型(LLM)已从专用模型转变为多功能基础模型。但是,LLM表现出令人印象深刻的零射击能力,需要对本地数据集进行微调和大量的部署资源 ...
最近,结果表明,最大内部产品搜索(MIPS)的问题是有效的,并且可以证明是亚线性的哈希算法。哈希之前的不对称转换是解决MIP的关键,否则很难。在先前的工作中,作者使用了不对称的转换,将近似MIP的问题转换为近似邻居搜索的问题,该问题可以使用Hashhing有效地解决 ...
我们介绍了第一个可证明的跨金属时间算法,用于近似\ emph {最大内部产品搜索}(MIPS)。我们的建议也是第一个用于搜索(非构想)内部产品作为基本相似性度量的哈希算法。发现MIP的哈希方案被认为很难 ...
知识图(KGS)的关系预测是一个关键的研究主题。基于嵌入的主要方法主要集中于跨导态环境,并且缺乏将推广到新实体推断的电感能力。归纳推理的现有方法主要挖掘实体之间的连接,即 ...
最近,出现以及大型模型的成功受到了研究界的广泛关注。与文献不同,我们假设一个关键因素可以促进规模增长过程中的性能:减少单语义神经元的降低,而单语义神经元只能与特定特征形成一对一的相关性。单义神经元往往更稀疏,对大型表现产生负面影响 ...
具有线性注意力的 Transformer(即线性 Transformer)和状态空间模型最近被建议作为具有 Softmax Attention 的 Transformer 的可行线性时间替代方案 ...
机械性解释性领域旨在研究单个神经元在深神经网络中的作用。但是,单个神经元具有多元化作用并为多个(无关)特征编码的能力,从而使他们的解释变得困难。我们提出了一种通过将多种神经元分解为多个单义学“虚拟”神经元的方法来解开任何深神经网络多义的方法 ...