由于其在各个领域的出色性能,Transformer 已成为基础模型中的主要架构。然而,扩展这些模型的巨大成本仍然是一个重大问题。这个问题主要是由于它们对线性投影内固定数量的参数的依赖而产生的 ...
Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion
从单个图像中恢复对象的几何形状和材料由于其受约束的性质不足而具有挑战性。在本文中,我们提出了神经Lightrig,这是一个新颖的框架,可以通过利用2D扩散先验的辅助多光照明条件来增强内在估计。具体来说,1)我们首先利用大规模扩散模型的照明先验,以在具有专用设计的合成重新确定数据集上构建我们的多光扩散模型 ...
尽管推荐人可以根据用户的喜好自动将物品运送到用户,但它们通常会对团体或个人造成不公平性。例如,当用户可以根据敏感的社会属性将用户分为两组,并且两组之间的活动方面存在显着差异时,学习的建议算法将导致两组之间的建议差距,从而导致组不公平。在这项工作中,我们提出了一种新颖的建议算法,称为基于扩散的公平推荐人(DIFFAIREC),以提供公平的建议 ...
高保真3D对象的合成比2D图像生成更具挑战性,这是由于网格数据的非结构化性质和密集体积网格的立方复杂性。现有的两阶段管道压缩的网格与VAE(使用2D或3D监督),然后是潜在扩散采样,通常受到VAE中引入的效率低下的表述和模态失配造成的严重细节损失。我们介绍了SPARC,这是一个统一的框架,结合了稀疏的可变形立方体表示Sparsecubes和新颖的编码器Sparconv-Vae ...
指令调整增强了大型视觉模型(LVLM),但由于开放设计而增加了他们对后门攻击的脆弱性。与静态环境中的先前研究不同,本文探讨了在不匹配的培训和测试域中调整LVLM指令中的后门攻击。我们介绍了一个新的评估维度,后门域的概括,以评估视觉和文本域移动下的攻击鲁棒性 ...
大型语言模型(LLM)的出现在软件工程(SE)中具有极大的高级人工智能(AI),代码嵌入在诸如代码克隆检测和代码群集之类的任务中起着至关重要的作用。但是,现有的代码嵌入方法,包括基于LLM的代码嵌入方法,通常取决于昂贵的监督培训或用于域适应的微调。本文提出了一种新颖的零击方法zsllmcode,以使用LLM和句子嵌入模型生成代码嵌入 ...
代码(或代码LLM)的大型语言模型越来越多地获得流行和功能,提供了各种功能,例如代码完成,代码生成,代码摘要,测试生成,代码翻译等。为了利用代码LLM的全部潜力,开发人员必须向模型提供特定于代码的上下文信息。这些通常是使用程序分析工具得出和提炼的 ...
联邦学习中的数据异质性,其特征是本地和全球分布之间的严重未对准,导致局部优化方向不同,并阻碍了全球模型培训。现有研究主要集中于优化本地更新或全球聚合,但是这些间接方法在处理高度异构的数据分布时表明了不稳定,尤其是在标签偏斜和域偏斜并存的情况下。为了解决这个问题,我们提出了一种几何学引导的数据生成方法,该方法集中于在本地模拟全局嵌入分布 ...