近年来,大型语言模型(LLM),例如Chatgpt,Llama,Glm和Palm,在各种任务中表现出色。但是,LLMS在现实世界应用中面临两个主要挑战。一个挑战是,培训LLM会消耗大量的计算资源,从而阻止LLM被有限的计算资源的中小型企业采用 ...
联合学习系统容易受到恶意客户攻击的影响。由于系统中的中央服务器无法控制客户端的行为,因此Rogue客户端可以通过向服务器发送恶意模型更新来启动攻击,从而降低学习性能或执行目标模型中毒攻击(A.K. ...
数据中毒攻击越来越受到联合学习系统的威胁,在这些攻击中,恶意客户通过贡献篡改的更新来妥协全球模型。现有的防御措施通常依赖于不切实际的假设,例如访问中央测试数据集,或者未能跨越各种攻击类型,尤其是那些涉及多个恶意客户端工作的攻击类型。为了解决这个问题,我们提出了联合噪声引起的激活分析(FEDNIA),这是一个新颖的防御框架,旨在识别和排除对抗性客户,而无需依赖任何中央测试数据集 ...
大型语言模型(LLM)可以轻松产生偏见和歧视性响应。当LLMS挖掘出结果决策时(例如 ...
因果结构发现方法通常应用于已知因果变量并可以使用统计检验来评估因果关系的结构化数据。相比之下,从非结构化的自然语言数据(例如新闻文章)中恢复因果结构,由于缺乏已知变量或反事实数据以估计因果关系链接而面临许多挑战。大型语言模型(LLM)在这个方向上显示出令人鼓舞的结果,但也表现出局限性 ...
大型语言模型(LLMS)已表现出非凡的功能,并为多个领域做出了贡献,例如生成和总结文本,语言翻译和提问。如今,LLM已成为计算机化语言处理任务中非常流行的工具,能够分析复杂的语言模式,并根据上下文提供相关和适当的响应。在提供显着优势的同时,这些模型也容易受到安全和隐私攻击的影响,例如越狱攻击,数据中毒攻击和个人身份信息(PII)泄漏攻击 ...
大型语言模型在对文本进行推断方面表现出色,以提取信息,总结信息或生成其他文本。这些推论能力与各种道德危害有关,这些危害涵盖了监视,劳动力流离失所和IP/版权盗窃。尽管已经提出了许多政策,法律和技术缓解来抵消这些危害,但这些缓解通常需要从机构的合作,这些机构的发展比技术进步要慢的机构(i ...
大型语言模型(LLM),例如chatgpt和bard,已经彻底改变了自然语言的理解和产生。他们具有深厚的语言理解,类似人类的文本生成能力,上下文意识和强大的解决问题的技能,使其在各个领域中无价(例如, ...
通过大语言模型(LLM)本身生成合成数据集已成为提高LLM性能的有前途的方法。但是,LLM固有地反映了其培训数据中存在的偏见,从而导致了一个关键的挑战:当这些模型生成培训的合成数据时,它们可能会传播并扩大其固有的偏见,从而对下游任务产生严重影响模型的公平性和稳健性 - 这一现象 - 这一现象我们称偏见的继承。这项工作介绍了在理解,分析和减轻偏差遗传方面进行的首次系统调查 ...
随着大语言模型(LLM)的快速发展,信息检索系统(例如搜索引擎和推荐系统)已经发生了重大的范式转移。这种演变虽然预示了新的机会,但却引入了新兴的挑战,尤其是在偏见和不公平方面,这可能威胁到信息生态系统。在本文中,我们对IR系统中LLMS集成时的现有作品进行了全面调查 ...