如今的深度学习方法重点关注如何设计最合适的目标函数,使得模型的预测结果能够最接近真实情况。同时,必须设计一个适当的架构,可以帮助获取足够的信息进行预测。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间变换时,大量信息将会丢失... ...
大型语言模型 (LLM) 在时间序列预测中越来越受欢迎,但其异常检测的潜力在很大程度上尚未得到开发。我们的研究调查了 LLM 是否能够理解和检测时间序列数据中的异常,重点关注零样本和少样本场景。受时间序列预测研究中关于 LLM 行为的猜想的启发,我们提出了关于 LLM 在时间序列异常检测方面的能力的关键假设 ...
无监督域适应方法传统上假设所有源类别都存在于目标域中。在实践中,人们对这两个领域之间的类别重叠知之甚少。虽然某些方法使用部分或开放集类别来处理目标设置,但它们假设特定设置是先验已知的... ...
Talking Head Synthesis是一种从特定内容驱动的静止图像中生成肖像视频的高级方法,它在虚拟现实,增强现实和游戏制作中引起了广泛关注。最近,通过引入新型模型(例如 Transformer 和扩散模型)取得了重大突破。当前方法不仅可以生成新内容,还可以编辑生成的材料 ...
多媒体应用通常与跨域知识转移相关,其中无监督的域适应性(UDA)可用于减少域的偏移。在目标域包含未知类别的假设下,开放式设置域适应(OSDA)旨在将知识从标记的源域转移到未标记的目标域。现有的OSDA方法始终对协变量移动施加压力,而忽略了潜在的标签转移问题 ...
开放的复合域适应(OCDA)旨在将知识从标记的源域转移到未标记的均匀化合物目标域的混合物,同时概括为打开看不见的域。现有的OCDA方法通过划分和纠纷策略解决了内域差距,该策略将问题分为几个单独的和平行的域适应(DA)任务。这种方法通常包含多个子网络或阶段,这可能会限制模型的性能 ...
检索增强的生成(RAG)通过从知识数据库中动态检索相关信息来补充LLMS的输入来解决幻觉和实时约束。当提出查询时,RAG从其知识库中选择最相似的文本,并将其用作LLMS的背景,以生成更准确的响应。 RAG还创建了一个新的攻击表面,尤其是因为破布数据库经常来自公共领域 ...
变形金刚在序列建模任务中的显着成功,涵盖自然语言处理和计算机视觉中的各种应用,归因于自我注意的关键作用。与大多数深度学习模型的发展相似,这些注意力机制的构建依赖于启发式和经验。在我们的工作中,我们从内核主成分分析(内核PCA)中得出自我注意力,并表明自我发作的查询向量将其查询向量投射到特征空间中其密钥矩阵的主要成分轴上 ...