EARN: Efficient Inference Acceleration for LLM-based Generative Recommendation by Register Tokens

基于语言模型的大型生成推荐（LLMREC）取得了显着的成功，但由于巨大的计算开销和KV缓存的记忆压力，它具有很高的推理潜伏期。现有的KV缓存减少方法面临关键限制：高速缓存压缩提供了边际加速度，因为建议任务的简短解码步骤，同时迅速压缩风险丢弃了重要的相互作用历史记录。通过对LLMREC中注意模式的系统分析，我们发现了两个关键见解：1）层的注意力稀疏性反转，早期层保留了密集的信息模式，而后来的层则表现出很高的冗余，而2）双重注意力下降了现象，其中注意力均具有浓度的浓度在输入序列的头部和尾部的尾巴上 ...

EvoFlow: Evolving Diverse Agentic Workflows On The Fly

过去两年见证了大语言模型（LLM）基于劳动密集型手动设计到部分自动化（\ textit {e.g。}，及时的工程，通信拓扑）的演变（\ textit {eftexit {extiTIt），并最终到全自动设计 ...

SlimSpeech: Lightweight and Efficient Text-to-Speech with Slim Rectified Flow

最近，基于流量匹配的语音合成显着提高了综合语音的质量，同时减少了推理步骤的数量。在本文中，我们介绍了Slimspech，这是基于整流流的轻巧有效的语音合成系统。我们已经基于使用整流流模型的现有语音合成方法，修改了其结构以减少参数并用作教师模型 ...

Data Whisperer: Efficient Data Selection for Task-Specific LLM Fine-Tuning via Few-Shot In-Context Learning

对特定于任务数据的微调大语言模型（LLM）对于其有效部署至关重要。随着数据集尺寸的增长，有效选择用于培训的最佳子集对于平衡性能和计算成本至关重要。传统的数据选择方法通常需要在目标数据集上进行微调计分模型，该数据集是耗时且资源密集的，或者依靠无法完全利用该模型的预测能力的启发式方法 ...

Reason-to-Recommend: Using Interaction-of-Thought Reasoning to Enhance LLM Recommendation

在大型语言模型（LLM）的进步驱动下，由于其强烈的语义理解和迅速的灵活性，将其整合到推荐任务中引起了兴趣。先前的工作将用户项目交互或元数据编码为提示。同时，通过测试时间缩放和增强学习来提高的LLM推理在数学和代码等领域中表现出色，在数学和代码等领域，推理轨迹和正确性信号很明确，可以高性能和可解释性 ...

Programming by Backprop: LLMs Acquire Reusable Algorithmic Abstractions During Code Training

对源代码的培训大语言模型（LLM）显着增强了其通用推理能力，但是对此概括的机制知之甚少。在本文中，我们建议BackProp（PBB）作为这种效果的潜在驱动力 - 教授模型来评估程序以通过单独培训其源代码来评估输入的程序，而没有看到I/O示例。为了探讨这个想法，我们在代表简单数学问题和算法的两组程序上进行了Finetune LLM：一个带有源代码和I/O示例（W/IO）的程序，另一个仅带有源代码（w/o io） ...

Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search

循环合成计划是有机化学中的一项关键任务，它识别一系列可以导致目标产物合成的反应。大量可能的化学转化使搜索空间的大小变得很大，即使对于经验丰富的化学家来说，逆合合成计划也有挑战性。但是，现有方法要么需要通过较高的差异来进行昂贵的回报估算，要么以搜索速度而不是质量来优化 ...

An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint

在线平台通常会激励消费者改善用户参与度和平台收入。由于不同的消费者可能对激励措施做出不同的反应，因此个人级预算分配是营销活动中的重要任务。该领域的最新进展通常使用两阶段范式解决预算分配问题：第一阶段使用因果推理算法估算了个体级别的治疗效果，第二阶段的第二阶段会调用整数编程技术以找到最佳的预算分配解决方案 ...

CIC-BART-SSA: Controllable Image Captioning with Structured Semantic Augmentation

可控的图像字幕（CIC）旨在为图像生成自然语言描述，并根据最终用户提供的信息，例如区域，实体或感兴趣的事件 ...

Direct Heterogeneous Causal Learning for Resource Allocation Problems in Marketing

营销是增加用户参与并提高平台收入的重要机制，而异质因果学习可以帮助制定更有效的策略。营销中的大多数决策问题都可以作为资源分配问题提出，并且已经研究了数十年。现有作品通常将解决方案过程分为两个完全解耦的阶段i ...