我们提出了一种使用机器学习来自动从观测值中发现真实物理系统的管理方程和隐藏属性的方法。我们训练一个“图形神经网络”,以模拟30年的轨迹数据中太阳系太阳,行星和大号卫星的动态。然后,我们使用符号回归来发现神经网络隐含学到的力定律的分析表达,我们的结果表明这等同于牛顿的引力法 ...
大型目录大小是培训建议模型中的核心挑战之一:大量项目使它们在训练过程中的记忆和计算效率低下,以计算所有项目的分数,从而迫使这些模型部署负面抽样。但是,负抽样增加了训练数据中正相互作用的比例,因此,用负抽样训练的模型倾向于高估了正相互作用的概率,我们称之为过度自信。虽然预测分数或概率的绝对值对于检索建议的排名并不重要,但过度支持模型可能无法估计排名最高的项目的细微差异,从而导致性能退化 ...
大型文本到图像的扩散模型在生成高质量图像方面表现出了令人印象深刻的熟练程度。然而,当将这些模型应用于视频领域时,确保视频帧之间的时间一致性仍然是一个艰巨的挑战。本文提出了一种新颖的零镜头文本引导视频到视频翻译框架,以使图像模型适应视频 ...
适合与Minibatch随机梯度下降的单个GPU的培训卷积网络(CNN)在实践中已经有效。但是,仍然没有有效的方法来训练大型CNN的方法,这些方法不适合记忆几张GPU卡,也不适合并行化CNN培训。在这项工作中,我们表明,可以有效地对大规模主题标签(Multilabel)预测任务进行良好影响的专家模型的简单混合混合 ...
从单个朦胧的图像中恢复清晰的图像是一个开放的逆问题。尽管已经取得了重大的研究进展,但大多数现有的方法忽略了下游任务在促进上游飞行方面发挥的影响。从阴霾生成机制的角度来看,场景的深度信息与朦胧的图像之间存在潜在的关系 ...
随着语言模型掌握现有推理基准,我们需要新的挑战来评估其认知前沿。解决难题的事件是富有挑战的多模式问题的丰富存储库,这些问题测试了广泛的高级推理和知识能力,使它们成为评估边境语言模型的独特测试。我们介绍了Enigmaeval,这是一个来自拼图竞争和事件的问题和解决方案的数据集,这些问题和解决方案探讨了模型执行隐式知识合成和多步推论推理的能力 ...
检索增强的生成(RAG)通过从外部数据库中检索知识来提高大语言模型(LLMS)的响应质量。典型的破布方法将文本数据库分为块,以平坦的结构组织它们以进行有效的搜索。为了更好地捕获整个文本数据库中固有的依赖关系和结构化关系,研究人员建议将文本信息组织到索引图中,基于Asgraph的抹布 ...
指令调整已被广泛用于释放大型语言模型的完全潜力。值得注意的是,复杂而多样化的指示非常重要,因为它们可以有效地将模型与各种下游任务保持一致。但是,在经验假设下,当前构建大规模指令的方法主要支持强大的模型,例如GPT-4或具有超过700亿个参数的模型,这是如此较大的语言模型(LLMS)固有地具有增强的功能 ...