无监督的句子嵌入表示已成为自然语言处理中的热门研究主题。作为张量，嵌入句子具有两个关键属性：方向和规范。现有作品仅限于仅限于样本表示的方向，同时忽略其模块长度的特征 ...
我们提出了Diffcse，这是一个无监督的对比度学习框架，用于学习句子嵌入。 Diffcse学习对原始句子和编辑句子之间差异敏感的句子嵌入，其中通过随机掩盖了原始句子，然后从掩盖的语言模型中进行采样，从而获得了编辑的句子。我们表明，Diffsce是模棱两可的对比度学习的一个实例（Dangovski等人 ...
大型语言模型（LLM）已经显着增强了语言智力领域，这可以证明其在一系列复杂的推理任务中的强大经验表现。此外，理论上的证据阐明了他们的紧急推理能力，在语言背景下提供了令人信服的先进认知能力。对于他们在处理复杂的推理任务方面的显着功效至关重要，LLMS利用了有趣的思想链（COT）推理技术，使他们有义务在得出答案的途中制定中间步骤 ...
大型语言模型（RLLM）（例如OpenAI-O1和DeepSeek-R1）的推理的最新进展已证明了它们在数学和编码等复杂领域中令人印象深刻的功能。其成功的一个核心因素在于应用长链（长COT）特征，从而增强了推理能力并能够解决复杂的问题。然而，尽管有这些发展，但仍缺乏对长床的全面调查，限制了我们对传统的短链（短COT）的区别的理解，并使关于“过度思考”和“测试时间扩展”等问题的持续辩论变得复杂 ...
一致性模型在促进有效的图像/视频生成方面表现出显着的功能，从而可以通过最小的采样步骤综合。事实证明，它在减轻与扩散模型相关的计算负担方面具有优势。然而，一致性模型在音乐发电中的应用仍然在很大程度上没有探索 ...
很少有思想链（COT）显着增强了大语言模型（LLMS）的推理能力，从而使整个功能指导这些模型在为最终答案中生成推理步骤。但是，我们观察到，COT演示中的孤立段，单词或 Token 会意外破坏LLM的生成过程。该模型可能会过度集中于演示中存在的某些局部信息，从而将无关的噪声引入推理过程中，并可能导致错误的答案 ...
本文重点关注与任务无关的提示压缩，以提高通用性和效率。考虑到自然语言中的冗余，现有方法通过根据从因果语言模型（例如LLaMa-7B）获得的信息熵删除标记或词汇单元来压缩提示。挑战在于信息熵可能是次优压缩指标：（i）它仅利用单向上下文，可能无法捕获即时压缩所需的所有基本信息； (ii) 它与即时压缩目标不一致 ...
模型蒸馏是一种将知识从大语言模型（LLM）转移到较小的技术，旨在创建资源有效但高性能的模型。但是，过度的蒸馏会导致均质化，减少模型之间的多样性，并损害其可靠处理复杂或新任务的能力。这些限制强调了系统地量化蒸馏过程及其影响的必要性 ...
混合小组相对策略优化（Hybrid GRPO）是一个强化学习框架，通过合并经验多样本的操作评估，可以扩展近端策略优化（PPO）和小组相对策略优化（GRPO），同时保留基于价值函数的学习的稳定性。与DeepSeek GRPO不同，它消除了纯粹的经验奖励估计的价值函数，Hybrid Grpo引入了一种结构化优势计算方法，该方法将经验动作抽样与自举值估计平衡。这种方法提高了样本效率，提高了学习稳定性，并减轻了在纯经验方法中观察到的方差放大 ...