本文提出了 LATTE,这是第一个由大型语言模型 (LLM) 提供支持的静态二进制污点分析。 LATTE 优于最先进的技术(例如 ...
在大型语言模型(LLMS)的指导微调中,已经达成共识,即一些高质量的说明优于大量低质量指令。目前,已经提出了许多指导选择方法,但是这些方法中的大多数基于启发式质量指标选择了指令,并且仅在培训前考虑数据选择。这些设计导致教学微调的优化不足,固定的启发式指标通常很难针对特定任务进行优化 ...
大型语言模型(llm)的进步因其巨大的规模而受到阻碍,llm压缩方法来进行实际部署。奇异值分解(svd)为llm压缩提供了一种有前景的解决方案。然而,最先进的基于svd llm压缩方法有两个关键限制:截断较小的奇异值可能会导致更高的压缩损失:截断较小的奇异值可能会导致更高的压缩损失,以及svd截断后压缩权重缺乏更新... ...
近年来,像大型语言模型(LLM)这样的生成AI已更加可用于普通消费者。公开服务,例如 ...
多模式大语言模型(MLLM)具有功率的图形用户界面(GUI)代理,在计算设备上自动化任务时有希望。最近的工作已经开始探索GUI任务中的推理,并令人鼓舞。但是,许多当前的方法依赖于手动设计的推理模板,这可能导致推理对复杂的GUI环境不足以适应和适应性 ...
我们介绍PubMedqa,这是一个从PubMed摘要收集的新型生物医学问答(QA)数据集。PubMedqa的任务是用是/否/也许来回答研究问题(例如 ... ...
近年来,代码完成模型取得了重大进展。最近,存储库级代码的完成引起了现代软件开发的更多关注,并提出了几种基线方法和基准测试。但是,现有的存储库级代码完成方法通常无法完全使用项目存储库的广泛上下文,例如相关文件和类层次结构的复杂性 ...
很少有学习对于从几个示例中概括的模型而言至关重要。在这项工作中,我们确定指标缩放和度量任务条件对于提高少量算法的性能很重要。我们的分析表明,简单的度量缩放术完全改变了几个算法参数更新的性质 ...