从专业生成的内容(PGC)到用户生成的内容(UGC)的过渡已重塑了各种媒体格式,包括文本和视频等格式。随着生成AI的快速发展,类似的转变将重新定义游戏行业,尤其是在角色扮演游戏(RPG)领域内。本文介绍了一个新颖的框架,该框架为文本游戏引擎提供了利用基础模型将简单的文本输入转换为复杂的多模式RPG体验 ...
我们介绍了Textworld,这是一个用于培训和评估基于文本游戏的SANDBOX学习环境。 TextWorld是一个Python库,可以处理文本游戏的交互式游戏,以及状态跟踪和奖励分配等后端功能。它带有精心策划的游戏清单,其功能和挑战已经分析 ...
智能辅导系统(ITS)可有效改善学生的学习成果。但是,它们的发展通常是复杂的,耗时的,并且需要专业的编程和导师的设计知识,从而阻碍了他们广泛的应用和个性化。我们介绍了学徒教师建设者(ATB),该平台简化了导师的创建和个性化 ...
通过自然语言进行交流是机器智能的关键方面,它要求计算模型以不同的监督水平来学习和推理世界概念。对完全监督的非交互式任务(例如提问和程序文本理解)取得了重大进展。然而,就像基于文本的游戏一样,各种连续的交互任务已经揭示了现有方法的局限性,这些方法在连贯性,上下文意识及其从环境中有效学习的能力方面揭示了现有方法 ...
我们介绍了Zep,这是一种新型的AI代理的内存层服务,它在深度内存检索(DMR)基准中优于当前最新系统Memgpt。此外,与DMR相比,ZEP在更全面和具有挑战性的评估中表现出色,该评估更好地反映了现实世界中的用例。虽然现有的检索型生成(RAG)框架用于大语言模型(LLM)的代理商仅限于静态文档检索,但企业应用程序需要来自各种来源的动态知识集成,包括持续的对话和业务数据 ...
在深度学习中,神经网络是输入数据及其表示之间的嘈杂渠道。这种观点自然地将深度学习与追求在信息传输和表示方面具有最佳性能构建渠道的追求。尽管在网络优化期间,大量的努力集中在实现最佳的信道特性上,但我们研究了可以将神经网络朝向最佳渠道初始化的可能性 ...
大型语言模型(LLM)表现出了令人印象深刻的表现。要了解他们的行为,我们需要考虑LLM有时显示定性变化的事实。自然世界还提出了这种变化称为相变的变化,这些变化是由单数,不同的统计量定义的 ...
可以从随机采样高斯噪声中产生高质量数据的扩散模型已成为学术界和工业的主流生成方法。随机采样的高斯噪声是否同样适合扩散模型?尽管大量作品试图理解和改善扩散模型,但以前的作品忽略了选择或优化采样噪声的可能性,因此选择或优化采样的噪声以改善扩散模型的可能性。在本文中,我们主要做出了三项贡献 ...
本专着介绍了凸优化中的主要复杂性定理及其相应的算法。该材料从黑盒优化的基本理论出发,逐步介绍了结构优化和随机优化的最新进展。我们对黑盒优化的介绍深受 Nesterov 的开创性著作和 Nemirovski 的讲义的影响,包括对剖切面方法以及(加速)梯度下降方案的分析 ...
为了实现最高的感知质量,最先进的扩散模型进行了优化,其目标通常看起来与最大似然和证据下界 (ELBO) 目标非常不同。在这项工作中,我们揭示了扩散模型目标实际上与 ELBO 密切相关。具体来说,我们表明所有常用的扩散模型目标都相当于不同噪声水平上 ELBO 的加权积分,其中权重取决于所使用的特定目标 ...