我们怎么知道新的机械可解释性方法是否实现了真正的改进？为了追求持久的评估标准，我们建议MIB（一种机械性的可解释性基准），其中两条轨道涵盖了四个任务和五个模型。 MIB偏爱精确，简洁地恢复相关的因果途径或因果变量的方法。电路定位轨道比较定位模型组件的方法以及它们之间的连接 - 对于执行任务最重要（e ...
机械解释性（MI）旨在通过因果解释来理解神经网络。尽管MI有许多解释的生成方法，但由于缺乏评估解释的普遍方法，进步受到了限制。在这里，我们分析了基本问题：“什么是一个很好的解释？”我们介绍了一个多元化的解释性美德框架，借鉴了科学哲学的四个观点 - 贝叶斯，库恩尼亚人，德意志和法制 - 以系统地评估和改善MI中的解释 ...
机械性解释性旨在通过因果解释来理解神经网络。我们主张解释性观点假设：机械性解释性研究是一种理解模型的原则方法，因为神经网络包含可以提取和理解的隐式解释。因此，我们表明了解释性的忠诚，评估了解释对模型的合适程度 ...
我们提出了扩散模型的定量电路级分析，建立了图像生成过程的基础计算途径和机械原理。通过在2,000个合成和2,000个Celeba面部图像的系统干预实验中，我们发现了扩散架构过程合成与自然主义数据分布的基本算法差异。我们的研究表明，现实世界的面部处理需要具有较高计算复杂性的电路（复杂性比= 1 ...
考虑到现实世界中信息的复杂性和动态性质，在现实世界情景中，大型多模型（LMM）的强大部署需要访问外部知识来源。现有的方法，例如检索功能的生成（RAG）和迅速设计的搜索剂，依赖于严格的管道，通常导致搜索行为效率低下或过度。我们提出了MMSEarch-R1，这是第一个端到端的增强学习框架，使LMM可以在现实世界中的Internet环境中执行按需进行多转弯搜索 ...
为发现预训练的语言模型中编码的知识所做的工作依赖于注释的语料库或人类的方法。但是，这些方法在可伸缩性和解释范围方面受到限制。我们建议使用大型语言模型Chatgpt作为注释者，以实现对预训练的语言模型的细粒度解释分析 ...
尽管外推，有效的注意力和记忆模块的长度改善，但在推断过程中处理无限长的文档而没有性能降解，这仍然是长文处理过程中的最终挑战。我们直接以端到端的方式对长文本任务进行优化，并介绍一个新颖的代理工作流程Memagent，该工作流程在细分市场中读取文本，并使用覆盖策略更新内存。我们扩展了DAPO算法，以通过独立的文本多转换生成来促进培训 ...
我们引入了FlexCap，这是一种视觉模型，生成不同长度的区域特定描述。对FlexCap进行了训练，可以为输入框生成长度条件标题，从而可以控制信息密度，描述从简洁对象标签到详细的字幕。为了实现这一目标，我们创建了图像区域描述的大规模培训数据集，其字幕映像的长度不同 ...
使用语言模型自动评估长期文本（LLM-AS-A-Gudge）的使用变得越来越普遍，但是大多数LLM法官都专门针对英语进行了优化，并采用增强其多语言评估功能的策略，在当前文献中仍然很大程度上尚未实现。这已经在非英语语言的自动评估方法的质量上造成了差异，最终阻碍了具有更好多语言能力的模型的开发。为了弥合这一差距，我们介绍了M-Prometheus，这是一套从3B到14B参数的开放式LLM法官，可以提供直接评估和对多语言输出的成对比较反馈 ...
深度神经网络在各个领域都表现出了出色的性能。但是，它们容易受到对抗性例子的影响，这可能会导致错误的预测。生成的对抗网络（GAN）可以利用发电机和鉴别器模型快速产生高质量的对抗示例 ...