Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

在写作和说话时，人们有时会停下来思考。尽管以推理为中心的作品通常将推理视为回答问题或完成代理任务的方法，但推理几乎隐含在所有书面文本中。例如，这适用于证明的字里行间未说明的步骤或对话背后的心理理论 ...

A Survey on LoRA of Large Language Models

低秩适应（LoRA）使用可插入的低秩矩阵更新密集的神经网络层，是性能最好的参数高效微调范例之一。此外，它在跨任务泛化和隐私保护方面具有显着优势。因此，LoRA近年来备受关注，相关文献数量呈指数级增长 ...

Semi-Supervised Object Detection: A Survey on Progress from CNN to Transformer

半监督学习的令人印象深刻的进步促使研究人员探索其在计算机视觉领域的目标检测任务中的潜力。半监督目标检测 (SSOD) 利用小型标记数据集和较大的未标记数据集的组合。这种方法有效地减少了对大型标记数据集的依赖，这些数据集的获取通常既昂贵又耗时 ...

FACTS About Building Retrieval Augmented Generation-based Chatbots

由生成式人工智能提供支持的企业聊天机器人正在成为提高员工生产力的关键应用程序。检索增强生成 (RAG)、大型语言模型 (LLM) 以及 Langchain 和 Llamaindex 等编排框架对于构建这些聊天机器人至关重要。然而，创建有效的企业聊天机器人具有挑战性，需要细致的 RAG 管道工程 ...

Curriculum Learning with Quality-Driven Data Selection

OpenAI 的 GPT-4 所展示的令人印象深刻的多模态功能引起了人们对多模态大型语言模型 (MLLM) 开发的浓厚兴趣。使用机器生成的指令跟踪数据对 MLLM 进行可视化指令调整已证明可以增强跨各种任务的零样本能力。然而，对控制指令数据质量的探索有限 ...

On Modeling Long-Term User Engagement from Stochastic Feedback

推荐系统（RS）的最终目标是提高用户参与度。强化学习（RL）是实现这一目标的一个有前途的范例，因为它直接优化了顺序推荐的整体性能。然而，许多现有的基于强化学习的方法会产生巨大的计算开销，因为它们不仅需要存储推荐项目，还需要存储所有其他候选项目 ...

Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL

根据自然语言问题生成准确的 SQL（文本到 SQL）是一个长期存在的问题，因为它在用户问题理解、数据库模式理解和 SQL 生成方面具有挑战性。传统的文本到 SQL 系统包括人体工程学和深度神经网络。随后，预训练语言模型 (PLM) 被开发出来并用于文本到 SQL 任务，取得了可喜的性能 ...

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

多模态大语言模型 (MLLM) 的最新进展但是值得注意的是，这些通用域 MLLM 往往缺乏理解用户界面 (UI) 屏幕以及有效交互的能力。在本文中，我们提出了 Ferret-UI，这是一种专为增强对移动 UI 屏幕的理解而定制的新型 MLLM，配备了引用、接地和推理功能。而 UI 屏幕通常表现出更长的纵横比并包含较小的感兴趣对象（例如，.. ...

Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

多语言大语言模型能够利用强大的大语言模型来处理和响应多种语言的查询，在多语言自然语言处理任务中取得了显着的成功。尽管取得了这些突破，但仍然缺乏全面的调查来总结该领域的现有方法和最新发展。为此，在本文中，我们对多语言大语言模型（MLLM）文献的最新进展和新兴趋势进行了全面的回顾并提供了统一的视角 ...

Long-context LLMs Struggle with Long In-context Learning

大型语言模型 (LLM) 在处理超过 32K 标记的长序列方面取得了重大进展。然而，他们的绩效评估很大程度上局限于复杂度和综合任务等指标，这些指标可能无法完全捕捉他们在更细致的现实场景中的能力。这项研究引入了一个专门的基准（LIConBench），专注于极端标签分类领域内的长期上下文学习 ...