关于时间知识图(kgs)的问题有效地使用了时间kg中包含的事实,该事实记录了实体关系以及它们何时发生,以回答自然语言问题(例如,“谁是奥巴马之前的美国总统?”) ...
推荐系统经常要应对嘈杂的隐式反馈。大多数研究从数据清理的角度减轻噪声问题,例如数据重采样和重新加权,但它们受到启发式假设的限制。另一种去噪途径是从模型角度出发,主动将噪声注入用户,项目交互中 ...
尽管神经网络在许多机器学习应用程序中都提高了前沿,但它们通常以高计算成本呈现。减少神经网络推理的功能和潜伏期对于将现代网络集成到具有严格的功率和计算要求的边缘设备中至关重要。神经网络量化是实现这些节省的最有效方法之一,但是它引起的额外噪声可能导致准确性降解 ...
高维欧几里得空间中的大约最近的邻居(ANN)搜索具有广泛的应用。在现有的ANN算法中,基于图的方法在时间准确性的权衡方面表现出了出色的性能。但是,由于图指数上的搜索过程以及计算确切距离的成本以指导搜索过程,他们面临性能瓶颈 ...
由于扩展的密钥值(KV)缓存,长期文化大语模型(LLM)的越来越多采用了自回归解码的重大记忆和计算挑战。 KV缓存量化已成为有前途的解决方案,先前的工作表明4位甚至2位量化可以保持模型准确性,同时降低记忆成本。但是,尽管有这些好处,但低位KV缓存的初步实施努力,由于量化和取消量化开销以及缺乏张量的核心利用而难以实现预期的加速 ...
强化学习(RL)最近在增强大语言模型(LLMS)的推理能力方面具有强大的潜力。特别是,DeepSeek-R1-Zero引入的“零”强化学习可以直接对基本LLM进行直接培训,而无需依靠中间监督的微调阶段。尽管有这些进步,但当前用于LLM推理的作品主要集中于数学和编码域,这主要是由于数据丰度和易于答案验证 ...
二进制分析在安全领域(例如恶意软件检测和漏洞发现)中起着关键作用,但它仍然是劳动力密集的,并且非常依赖专家知识。通用大语言模型(LLMS)在源代码的编程分析中表现良好,而二进制特定的LLM则未被忽略。在这项工作中,我们介绍了Recopilot,这是一家专业的LLM,专为二进制分析任务而设计 ...
这是一本关于大语言模型的书。如标题所示,它主要关注基础概念,而不是对所有尖端技术的全面覆盖。这本书构成了四个主要章节,每个章节都探索一个关键领域:预训练,生成模型,提示技术和对齐方式 ...