大型语言模型 (LLM) 通过其先进的文本处理和生成功能彻底改变了人工智能和机器学习。然而,它们的广泛部署引起了重大的安全性和可靠性问题。深度神经网络中已存在的漏洞,加上新兴的威胁模型,可能会损害安全评估并产生错误的安全感 ...
预计3D视觉语言(3D-VL)的统一模型将采用各种场景表示形式,并在3D场景中执行各种任务。但是,由于代表的独立应用和3D多任务训练的探索不足,现有方法与这种统一模型之间存在很大的差距。在本文中,我们介绍了PQ3D,这是一个统一的模型,能够使用迅速查询来解决从低级实例细分到高级推理和计划的各种3D-VL任务 ...
多模式大语言模型(MLLM)在理解视觉和语言信息方面的显着潜力已得到广泛认可。但是,与2D对应物相比,3D场景的稀缺性以及现有方法不足在理解LLMS的3D场景时,带来了重大挑战。作为响应,我们收集并构建了一个广泛的数据集,其中包括针对3D场景量身定制的75K指令 - 响应对 ...
开源软件包生态系统的指数增长,尤其是NPM和PYPI,导致软件供应链中毒攻击的惊人增加。现有的静态分析方法以高误报率而挣扎,并且很容易被混淆和动态代码执行技术挫败。尽管动态分析方法提供了改进,但他们通常会因捕获非包装行为和采用简单的测试策略而遭受痛苦,而这些策略无法触发复杂的恶意行为 ...
大型语言模型(LLM)的最新进展导致了能够与图形用户界面(GUIS)进行交互的智能代理的开发。这些代理人表现出强大的推理和适应性,使他们能够执行传统上需要预定义规则的复杂任务。但是,基于LLM的代理中对分步推理的依赖通常会导致效率低下,尤其是对于常规任务 ...
视觉和语言是人类的两个基本感官,它们增强了我们的认知能力和智慧。尽管已经以AI语言能力做出了重大突破,但人工视觉智能,尤其是产生和模拟我们看到的世界的能力,却远远落后。为了促进人工视觉智能的开发和可访问性,我们创建了开放式视频生成模型开放式视频模型,旨在生产高保真视频内容 ...
发布在私人数据集上培训的大型(十亿个参数)语言模型已经很普遍了。本文表明,在这种情况下,对手可以通过查询语言模型来执行培训数据提取攻击以恢复单个培训示例。我们展示了我们对GPT-2的攻击,GPT-2是一种对公共互联网刮擦训练的语言模型,并能够从模型的培训数据中提取数百个逐字的文本序列 ...
高分辨率图像和详尽的局部注释成本的良好成本阻碍了数字病理学的进展。用于对病理图像进行分类的常用范式是基于斑块的处理,该处理通常包含多个实例学习(MIL)以汇总局部斑块级表示,从而产生图像级预测。但是,诊断相关的区域只能占整个组织的一小部分,而当前的基于MIL的方法通常会统一地处理图像,从而丢弃相互作用的相互作用 ...