本文研究了大语言模型（LLMS）中可解释的分类特征的出现，分析其在训练检查点（时间）， Transformer 层（空间）和不同模型尺寸（比例）之间的行为。使用稀疏的自动编码器来进行机械解释性，我们确定了神经激活中特定的语义概念的何时何地出现。结果表明在多个域中出现特征出现的时间和规模特异性阈值 ...
由大型语言模型（LLM）提供动力的多代理AI系统越来越多地用于解决复杂的任务。但是，这些系统通常依赖于脆弱的，手动设计的提示和启发式方法，从而使优化变得困难。优化多代理系统的关键挑战是为专用代理购买合适的培训数据 ...
大型专有语言模型表现出强大的因果推理能力，而较小的开源模型则难以复制。我们介绍了一个新颖的框架，用于提炼因果解释，该解释将因果推理技能从强大的教师模型转移到紧凑的开源模型。关键的想法是训练较小的模型，通过产生与教师模型的结构性因果解释来发展因果推理能力 ...
近年来，DeepFake技术的快速发展引起了对公共安全的新兴和严重威胁：基于扩散模型的数字人类一代。与传统的面部操纵方法不同，这种模型可以通过多模式控制信号生成具有一致性的高度逼真的视频。它们的灵活性和秘密性对现有检测策略构成了严重的挑战 ...
虽然视频可以通过许多不同的方式进行伪造，但大多数现有的法医网络都专门用于检测单一操纵类型（例如，深层，indpainting） ...
大型语言模型（LLM）彻底改变了人工智能领域，从而实现了以前认为人类独有的自然语言处理任务。在这项工作中，我们介绍了Qwen，这是我们大型语言模型系列的第一部分。 Qwen是一个综合语言模型系列，它包含具有不同参数计数的不同模型 ...
随着LLM作为代理的发展，人们对将多个代理连接到多代理系统以同时解决任务，重点关注其在任务分配和协调中的作用，这一越来越兴趣。本文探讨了LLM如何在多个代理中有效分配计算任务，考虑到成本，效率和性能等因素。在这项工作中，我们解决了关键问题，包括LLM作为编排者和计划者的有效性，并比较其在任务分配和协调方面的有效性 ...
我们提出Quantx：针对LLM和VLM量化的量身定制的食谱套件。它能够量化至3位分辨率，并且性能损失最小。 Quantx中的量化策略考虑了特定于硬件的约束，以在推理过程中实现有效的去量化，以确保运行时速度，内存需求和模型准确性之间的灵活权衡 ...
