估计大语言模型〜(LLM)响应的不确定性仍然是一个至关重要的挑战。虽然最近的贝叶斯方法在通过低级别的重量更新来量化不确定性方面表现出有效性,但它们通常需要复杂的微调或训练后程序。在本文中,我们提出了无培训的贝叶斯化〜(TFB),这是一个新颖的框架,将现有的现有训练有素的洛拉适配器转变为贝叶斯的适配器,而无需额外的培训 ...
通过对微调模型所学到,遗忘以及如何信任其预测的一般了解,调整大型语言模型可以改善特定任务的性能。我们使用计算有效的低级适应集合来得出具有后近似的微调LLM的原则不确定性定量。我们使用基于Mistral-7b的低级适应合奏分析了三个常见的多项选择数据集,并在微调过程中和之后对不同目标域的感知复杂性和模型疗效得出定量和定性结论 ...
我们介绍了Ming-Lite-Uni,这是一个开源的多模式框架,该框架具有新设计的统一视觉生成器和一款适合统一视觉和语言的本机多模式自动回归模型。具体而言,该项目提供了集成的元震源和M2-OMNI框架的开源实现,同时介绍了新颖的多尺度可学习 Token 和多尺度表示策略。通过利用固定的MLLM和可学习的扩散模型,Ming-Lite-Uni使本机多模式AR模型可以同时执行基于文本图像生成和基于教学的 ...
现有的人类运动捕获(MOCAP)方法主要集中于视觉相似性,同时忽略了物理合理性。结果,诸如在3D场景中驾驶虚拟人类的下游任务或现实世界中的人形机器人遭受了时序漂移和抖动,诸如滑动和穿透等空间问题以及全球轨迹准确性不佳的问题。在本文中,我们通过探索压力的作用来从人体与物理世界之间的相互作用的角度重新审视人类MOCAP ...
图表学习在挖掘和分析图形数据中涉及的复杂关系中起着至关重要的作用,该关系广泛用于交易网络和通信网络等许多现实世界应用中。 CV和NLP中的基础模型显示出强大的跨域功能,在图形域也很重要。但是,现有的图形学习方法与跨域任务斗争 ...
无缝融合到日常生活中的声音AI代理会以自主,实时和情感表达的方式与人类互动。它不仅会对命令做出反应,还会不断地倾听,推理和主动做出反应,从而促进流体,动态和情感共鸣的互动。我们介绍了一个大型语音基础模型的家族Voila,朝着这一愿景迈出了一步 ...
随着大型语言模型(LLM)的使用变得更加普遍,了解他们对产生响应的信心的自我评估变得越来越重要,因为它是这些模型输出的可靠性的组成部分。我们介绍了信任概括性一致性的概念,该概念将LLM的内部信心(由 Token 概率量化)与模型响应中所传达的信心相关联时,明确询问其确定性。使用各种数据集并提示鼓励模型内省的技术,我们探究了模型内部和表达的信心之间的对齐方式 ...
我们提出了一种学习连续状态和行动的基于表达能量的政策的方法,这仅在以前的表格域中才是可行的。我们将我们的方法应用于学习最大的熵策略,导致了一种称为软Q学习的新算法,该算法通过Boltzmann分布来表达最佳策略。我们使用最近提出的摊销Stein变异梯度下降来学习一个随机采样网络,该网络近似于该分布中的样本 ...