随着LLM的兴起,自2024年底以来已经出现了大量的模型上下文协议(MCP)服务。但是,MCP服务器的有效性和效率尚未得到很好的研究。为了研究这些问题,我们提出了一个称为McPbench的评估框架 ...
我们在大型语言模型 (LLM) 中观察到一个经验现象——很少有激活表现出比其他激活显着更大的值(例如,大 100,000 倍) ...
在城市环境的巨大而动态的景观中,交通安全描述和分析在从保险检查到预防事故的应用中起着关键作用。本文介绍了Cityllava,这是一个针对城市场景设计的视觉语言模型(VLM)的新型微调框架。 CityLlava通过(1)采用边界框来增强模型的理解和预测准确性,以进行最佳的视觉数据预处理,包括视频最佳视图选择和在培训和测试阶段期间的视觉及时及时工程; (2)构建简洁的问题解答序列并设计文本提示以完善教 ...
深度增强学习(DRL)将经典的增强学习算法与深度神经网络联系起来。 DRL中的一个问题是CNN是黑盒,很难理解代理的决策过程。为了能够在高度危险的环境中为人类和机器使用RL代理,开发人员需要一个调试工具来确保代理商执行预期 ...
大型语言模型(LLM)在代码生成任务中表现出了巨大的潜力。但是,开源和封闭源模型之间仍然存在性能差距。为了解决这一差距,现有方法通常会生成大量的合成数据进行微调,这通常会导致效率低下的培训 ...
大型语言模型(LLM)在代码生成中表现出强大的能力,强调了严格和全面评估的关键需求。现有的评估方法分为三类,包括以人为本,基于公制的和LLM。考虑到以人为本的方法是劳动密集型和基于指标的方法过于依赖参考答案,因此基于LLM的方法由于其更强的上下文理解能力和较高的效率而受到了越来越多的关注 ...
尽管大型神经网络表现出完成不同任务的卓越能力,但它们需要使用过多的内存来存储训练的优化状态。为了缓解这一问题,lora),lora,lora将整体权重更新矩阵限制为低秩,从而限制了模型性能... ...
联合学习(FL)最近已应用于大语言模型(LLMS)的参数效率微调。尽管有希望,但由于客户的异质资源和数据分布,它引起了重大挑战。这项研究介绍了Flexlora,这是一种简单而有效的LLM微调汇总计划,在传统FL中降低了``桶效应''的````桶效应''',从而限制了客户提供充足资源的潜力,从而将他们绑定到了资源最少的参与者的能力 ...