时间序列异常检测提出了各种挑战,这是由于时间依赖性数据的顺序和动态性质。传统的无监督方法经常遇到泛化的困难,通常过度适合训练期间观察到的已知正常模式,并努力适应看不见的正常性。为了应对这一限制,时间序列的自我监督技术引起了人们的关注,作为解决这一障碍并增强异常检测器性能的潜在解决方案 ...
视觉 Transformer (VIT)在计算机视觉中表现出了令人印象深刻的性能,但是它们的高计算成本(在 Token 数量上二次)限制了它们在计算受限的应用程序中的采用。但是,这可能不是必需的大量 Token ,因为并非所有 Token 都同样重要。在本文中,我们研究了 Token 修剪以加速对象检测和实例分割的推断,从图像分类中扩展了先前的工作 ...
大型语言模型(LLMS)引入了新的安全风险,但是很少有全面的评估套件可以衡量和降低这些风险。我们提出基准名称,这是一种量化LLM安全风险和功能的新型基准。我们介绍了两个用于测试的新领域:及时注入和代码解释器滥用 ...
本文旨在解决受监督的单眼估计的问题。我们从一项细致的试点研究开始,以证明远程相关性对于准确的深度估计至关重要。因此,我们建议利用 Transformer 以有效的注意机制对这种全球环境进行建模 ...
多模式的大语言模型(MLLM)越来越多地部署在微调AS-AS-AS-AS-Service(FTAAS)设置中,其中用户提交的数据集将通用通用模型适应下游任务。但是,这种灵活性引入了严重的安全风险,因为恶意微调可以以最小的努力将后门植入MLLM。在本文中,我们观察到后门通过引起异常注意力集中在非语义区域的异常注意力来系统地破坏跨模式处理 - 这种现象我们称注意力崩溃 ...
训练大型语言模型(LLM)已在自然语言处理(NLP)的各个子学科中广泛使用。在NLP中,文本分类问题已获得了相当大的重点,但仍然面临着与昂贵的计算成本,时间消耗和不可见期的稳健性能有关的局限性。通过提示链链(COT)的提议,可以使用零射击学习(ZSL)使用逐步推理提示来实施LLM,而不是传统的问答格式 ...
Generative AI提供了一种简单的,基于及时的替代方案,用于微调较小的BERT风格的LLM,以进行文本分类任务。这有望消除对手动标记培训数据和特定于任务的模型培训的需求。但是,是否可以兑现这一承诺,仍然是一个悬而未决的问题 ...
神经网络并不能很好地概括地看不见域移动的数据,这是机器学习和AI的长期问题。为了克服问题,我们提出了MixStyle,这是一个简单的插件,无参数的模块,可以改善域的概括性能,而无需收集更多数据或增加模型容量。 MixStyle的设计很简单:它在训练过程中单个前传中混合了两个随机实例的特征统计信息 ...