DLF: Enhancing Explicit-Implicit Interaction via Dynamic Low-Order-Aware Fusion for CTR Prediction

点击率（CTR）预测是在线广告和推荐系统中的关键任务，依靠特征交互的有效建模。显式相互作用捕获了预定义的关系，例如内部产品，但通常会遭受数据稀疏性的困扰，而隐含的交互作用在通过非线性转换学习复杂模式方面表现出色，但缺乏有效的低阶模型的感应偏见。现有的两流体系结构整合了这些范式，但面临诸如有限的信息共享，梯度失衡和难以在稀疏CTR数据中保存低阶信号之类的挑战 ...

Accurate Forgetting for Heterogeneous Federated Continual Learning

近年来，人们对联邦学习（FL）产生了兴趣。但是，客户参与顺序学习的上下文仍然不足。桥接FL和持续学习（CL）引起了一个具有挑战性的实际问题：联合持续学习（FCL） ...

MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices

基础模型的出现已经彻底改变了各个领域，从而使计算语言学，计算机视觉和其他领域的任务准确性和灵活性实现了。注意机制已成为基础模型的重要组成部分，因为它们在序列中捕获相关性的出色能力。但是，注意会导致记忆中的二次复杂性并随着上下文长度的增长计算 ...

To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions

现实世界中的视觉数据通常显示出长尾巴的分布，其中一些“头”类有大量样本，但只有几个样本可用于“尾巴”类。这种不平衡的分布在学习深度神经网络方面造成了巨大的挑战，可以将其归结为困境：一方面，我们更喜欢增加尾部类样品的暴露，以避免在分类器培训中校准过度优势。另一方面，过度采样的尾巴课程使网络容易拟合，因为因此总体级别的样本通常不足以代表 ...

MTGR: Industrial-Scale Generative Recommendation Framework in Meituan

在许多领域（例如自然语言处理和计算机视觉）中，广泛验证了缩放定律。在推荐系统中，最近的工作采用了生成建议来实现可扩展性，但是它们的生成方法需要放弃传统推荐模型的精心构造的跨特征。我们发现，这种方法会大大降低模型性能，并且扩大无法补偿 ...

Leveraging Large Language Model for Intelligent Log Processing and Autonomous Debugging in Cloud AI Platforms

随着云平台中AI系统规模的复杂性和快速扩展，系统操作过程中生成的日志数据是巨大的，非结构化的和语义上模棱两可的，这给故障位置和系统自我修复带来了巨大的挑战。为了解决此问题，本文提出了一个智能日志处理和基于大语言模型（LLM）的自动调试框架，该框架为智能调试器（LLM-ID）。该方法是根据现有的预训练 Transformer 模型扩展的，并集成了多阶段的语义推理机制，以实现对系统日志的上下文理解和故障链的自动重建 ...

ETrace:Event-Driven Vulnerability Detection in Smart Contracts via LLM-Based Trace Analysis

随着区块链技术在各个领域的提前应用，确保智能合约的安全性和稳定性已成为一个关键挑战。当前的脆弱性检测方法中的当前安全分析方法可以分为静态分析和动态分析，这些HTTP URL这些现有的传统脆弱性检测方法主要依赖于分析原始合同代码，并非所有智能合约都可以访问此http url thttp URL当前的ETRACE，这是一个新的事件驱动的脆弱性检测框架，从而通过智能检测框架来识别智能框架，从而使智能框架识别出智能框架，这是在智能框架中识别的，这是smart nose的范围，这是smart nose syperife s ll lll a n ll ll lll nll nll syperifife a源代码访问。通过从交易日志中提取细粒度的事件序列，该框架利用大型语言模型（LLMS）作为自适应语义解释者，通过经过思考的推理来重建事件分析 ...

MIA-Tuner: Adapting Large Language Models as Pre-training Text Detector

大型语言模型（LLMS）的参数增加和广泛的数据集突出了对技术解决方案的紧急需求，以审核与LLMS相关的潜在隐私风险和版权问题。现有的研究通过探索训练前数据检测问题来部分解决这一需求，这是成员推理攻击（MIA）的实例。此问题涉及确定在目标LLM的训练阶段是否已使用给定文本 ...

SoK: The Privacy Paradox of Large Language Models: Advancements, Privacy Risks, and Mitigation

大型语言模型（LLMS）是复杂的人工智能系统，可使机器能够以显着的精度生成类似人类的文本。尽管LLM提供了重大的技术进步，但它们的开发使用从网络上刮下来的大量用户数据，并从广泛的用户交互中收集的是敏感信息泄漏的风险。大多数现有的调查都集中在培训数据的隐私影响上，但倾向于忽略用户互动和高级LLM功能的隐私风险 ...

SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks

大型语言模型（LLM）取得了杰出的成功，并广泛用于不同的应用程序。但是，对这些模型进行微调通常涉及私人或敏感信息，从而引发了关键的隐私问题。在这项工作中，我们进行了首次全面研究，评估了调节LLMS成员推理攻击（MIA）的脆弱性 ...