检索增强生成(RAG)虽然可以作为大型语言模型(LLM)的可行补充,但常常忽视其管道中文本分块的关键方面,这会影响知识密集型任务的质量。本文介绍了Meta-Chunking的概念,它是指句子和段落之间的粒度,由段落内具有深层语言逻辑联系的句子的集合组成。为了实现Meta-Chunking,我们设计了Perplexity(PPL)Chunking,它平衡了性能和速度,通过分析上下文困惑度分布的特征来精确识别文本块的边界 ...
文档分解是自然语言处理(NLP)的关键任务,涉及将文档分为有意义的细分市场。传统方法通常仅依靠语义分析,而忽略了元素的空间布局,这对于理解复杂文档中的关系至关重要。本文介绍了一种新型的混合方法,该方法结合了布局结构,语义分析和空间关系,以增强文档块的凝聚力和准确性 ...
跨域建议技术是通过利用相关域中的知识来减轻推荐系统中数据稀疏问题的有效方法。转移学习是这些技术基础的一类算法。在本文中,我们通过使用神经网络作为基本模型提出了一种新型的转移学习方法,以用于跨域推荐 ...
长期以来,单眼3D对象检测一直是自主驾驶中的一项挑战。大多数现有方法遵循常规2D检测器首先定位对象中心,然后通过相邻功能预测3D属性。但是,只有使用本地视觉特征不足以理解场景级别的3D空间结构,而忽略了远程对象间深度关系 ...
大型语言模型(LLM)在代码生成和解决问题方面取得了重大进步。当前方法采用了基于外部工具的迭代式调试者,这些迭代式调试器使用编译器或其他基于工具的运行时反馈来完善各种方法生成的粗略程序。但是,这些方法的有效性在很大程度上依赖于初始代码生成的质量,这仍然是一个开放的挑战 ...
量化可以加速大型语言模型 (LLM) 推理。除了 INT8 量化之外,研究界正在积极探索更低精度的量化,例如 INT4。尽管如此,最先进的 INT4 量化技术只能加速小批量、边缘 LLM 推理,无法在大批量、基于云的 LLM 服务中提供性能提升 ...
大型语言模型(LLMS)已使LLM代理的出现:能够实现未指定目标和调整剥离后的自主系统,通常没有明确的代码或模型更改。评估这些药物对于确保其性能和安全至关重要,尤其是考虑到它们的动态,概率和不断发展的性质。但是,诸如预定义的测试案例和标准重建管道之类的传统方法难以应对LLM代理评估的独特挑战 ...
在未知场景中避免使用高效飞行策略的混合障碍是无人驾驶飞机应用的主要挑战。在本文中,我们引入了一种更强大的技术,以区分和跟踪动态障碍与仅具有点云输入的静态障碍。然后,为了实现动态避免,我们提出了禁止的金字塔方法,以在迭代中使用基于有效的采样方法来解决所需的车辆速度 ...
为了解决大型语言模型(LLM)知识不足和容易产生幻觉的问题,许多研究都致力于将 LLM 与知识图谱(KG)相结合。然而,所有这些方法都是在具有完整知识图谱的传统知识图问答(KGQA)上进行评估的,其中每个问题涉及的事实三元组完全由给定的知识图谱覆盖。在这种情况下,LLM主要充当代理通过探索知识图谱来寻找答案实体,而不是有效整合内部和外部知识源 ...
神经缩放法律为设计强大的序列处理体系结构提供了宝贵的见解。尽管这些定律在其他方式中得到了广泛的特征,但它们在语音中的行为仍然相对不受影响。在这项工作中,我们介绍了Owls,这是一套开放式,可再现的多语言语音识别和跨越0的翻译模型的套件 ...