联合学习(FL)是一种新颖的方法,可以通过利用在分散设备上培训的模型来保留数据隐私的同时进行协作的机器学习。但是,由于跨客户的不均匀分布(非IID)数据,FL面临着挑战,这会影响模型性能及其泛化功能。为了解决非IID问题,最近的努力利用了全球模型作为当地模型的教学机制 ...
由大语言模型(LLM)提供动力的多机构系统(MAS)正在成为解决复杂,多方面问题的强大范式。但是,这些系统的潜力通常受到普遍的计划和执行框架的限制,该框架受到关键限制:严格的计划执行,静态代理能力和效率低下的通信。这些弱点阻碍了它们在动态环境中的适应性和鲁棒性 ...
大型语言模型(LLM)已成为一种变革性的AI范式,通过其特殊的语言理解和上下文生成能力深远影响日常生活。尽管其表现出色,但LLM面临着一个关键的挑战:由于其基于学习的本质的固有局限性,产生不可靠的产出的倾向。另一方面,形式方法(FMS)是一个完善的计算范式,可提供数学上严格的技术来建模,指定和验证系统的正确性 ...
基于LOGIT的LLM水印轨迹并通过保持绿色和红色 Token 列表并增加一代中绿色 Token 的可能性来验证AI生成的内容。但是,它在低渗透方案中失败了,可以预测的输出使绿色 Token 选择变得困难而不会破坏自然文本流动。现有方法通过假设访问原始LLM来计算熵并有选择地水印高凝聚 Token 来解决这一问题 ...
文本对图像的生成越来越多地要求访问特定于域的,细粒度和快速发展的知识,即预算的模型无法完全捕获。现有的检索增强生成(RAG)方法试图通过检索全球相关图像来解决此问题,但是当没有单个图像包含复杂用户查询中的所有所需元素时,它们都会失败。我们提出了跨模式抹布,这是一个新颖的框架,将查询和图像分解为子方面的组件,从而实现了次级感知的检索和产生 ...
在增强现实(AR)指导的手术导航中,术前器官模型被叠加到患者的术中解剖结构上,以可视化临界结构,例如血管和肿瘤。准确的变形模型对于通过确保术前模型和动态变化的解剖结构之间的对齐方式来保持AR叠加的可靠性至关重要。尽管有限元方法(FEM)提供了物理上合理的建模,但其高计算成本限制了术中适用性 ...
多矢量文档检索系统,例如Colpali,在复杂查询中以细粒度匹配表现出色,但由于它们依赖于高维贴片嵌入和晚期交流评分而产生了大量的存储和计算成本。为了应对这些挑战,我们提出了HPC-Colpali,这是一个分层贴片压缩框架,可在保留其检索准确性的同时提高Colpali的效率。我们的方法集成了三种创新技术:(1)K-均值量化,该量化将嵌入贴片嵌入到1字节质心索引中,达到高达32 $ \ times ...
Cross-Dialect Text-To-Speech in Pitch-Accent Language Incorporating Multi-Dialect Phoneme-Level BERT
我们探索跨二元文本对语音(CD-TTS),这是在非本地方言中综合扬声器的声音的任务,尤其是在倾斜的语言中。 CD-TTS对于开发自然与各个地区的人进行沟通的语音代理很重要。我们提出了一个新颖的TTS模型,其中包括三个子模型,可以在此任务中竞争性能 ...