与基于人工的评估相比，基于LLM的自动注释器消除成本效率和可扩展性，并成为LLM开发过程的关键组成部分。然而，这些自动注释器可能会引入难以消除的复杂偏差。即使很简单的、已知的混杂因素，例如对大部分输出的偏好，仍然存在于现有的自动评估指标中…… ...
我们评估了一系列最近的英语创意写作 LLM ，这是一项具有挑战性和复杂的任务，需要想象力、连贯性和风格。我们选择了一个困难的、开放式的场景，以避免训练数据重复使用：对普利策奖获奖小说《笨蛋联盟》（A Confederacy of Dunces，1980）的主角伊格内修斯·J·赖利（Ignatius J. Reilly）和翼手龙之间的一场史诗般的战斗进行了叙述，一种史前飞行爬行动物 ...
为了提高生成故事的质量，最近的故事生成模型一直在研究情节或常识知识等更高级别属性的利用。以 GPT-3 为代表的大型语言模型 (LLM) 的基于提示的学习应用在各种自然语言处理 (NLP) 任务中表现出了卓越的性能。本文利用自动和人工评估进行了全面的调查，将 LLM 的故事生成能力与三个数据集的最新模型进行比较，这些数据集的风格、语体和故事长度各不相同 ...
自动长篇故事生成通常采用长上下文大语言模型 (LLM) 进行一次性创作，这可以生成有凝聚力但不一定引人入胜的内容。我们引入了行动指导讲故事（SWAG），这是一种与 LLM 一起讲故事的新颖方法。我们的方法通过两个模型反馈循环将故事写作简化为搜索问题：一个LLM生成故事内容，另一个辅助LLM用于选择下一个最佳“行动”来引导故事的未来方向 ...
生成式人工智能（GenAI）近年来取得了显着的进步，并在计算机视觉和计算设计等不同领域的各种生成任务中表现出了令人印象深刻的性能。许多研究人员尝试将 GenAI 集成到可视化框架中，利用其卓越的生成能力来进行不同的操作。与此同时，GenAI 最近在扩散模型和大语言模型等方面的重大突破也极大地增加了 GenAI4VIS 的潜力 ...
由于自然语言交互的直观性，使用自然语言界面（NLI）创建图表变得越来越流行。这种方法的一个关键挑战是准确捕获用户意图并将其转换为正确的图表规范。这阻碍了 NLI 在图表生成中的广泛使用，因为用户的自然语言输入通常是抽象的（即 ...