我们介绍了电子结构模型：80亿和700亿个参数大语模型，这些模型适合于电子商务领域。这些模型是作为对电子商务具有深入了解的基础模型，这是指导和微调的基础。通过不断预处理骆驼3获得了电子结构模型 ...
对当今大型语言模型（LLM）的有效培训取决于大批次和长序列，以吞噬吞吐量和准确性。为了处理硬件加速器上的可变长度序列，引入填充 Token 是常见的实践，因此批次中的所有序列的长度相同。我们在本文中表明，通用NLP数据集中的序列长度的变化是使所有 Token 的50％都可以填充 ...
大型语言模型（LLMS）在一般任务中表现出色，但在特定领域的挑战（例如专业术语和本地化法规）中挣扎。现有的Financial LLM，例如Fingpt和Bloomberggpt，缺乏对泰国金融领域的支持。我们使用泰国证券交易所的投资顾问（IC）考试数据集开发了泰国金融LLM ...
专业语言模型（LMS）专注于特定任务或域通常优于相同大小的通用LMS。但是，预算这些模型所需的专业数据仅适用于大多数任务。在这项工作中，我们改用大型通才训练集建立了专业模型 ...
在机器人技术方面，教授敏捷是多指机器人的长期挑战。在这一领域，最突出的工作着重于学习控制者或政策，这些政策要么是根据视觉观察结果或从视觉得出的状态估计来运作的。但是，此类方法在需要有关接触力的推理或手本身遮住的物体的细粒度操纵任务上执行较差 ...
在本文中，我们介绍了Saullm-54B和Saullm-141b，这是针对法律部门量身定制的两个大型语言模型（LLMS）。这些模型分别具有540亿和1410亿个参数的架构基于混合体系结构。 Saullm-54B和Saullm-141b的开发受大规模领域适应的指导，分为三种策略：（1）涉及涉及基本语料库的持续预定率，其中包括超过5400亿的法律 Token ，（2）实施，（2）实施专门的法律指导遵循 ...
这篇综述论文探讨了多模态大型语言模型 (MLLM)，它集成了 GPT-4 等大型语言模型 (LLM) 来处理文本和视觉等多模态数据。 MLLM 展示了生成图像叙述和回答基于图像的问题等功能，缩小了与现实世界人机交互的差距，并暗示了通用人工智能的潜在途径。然而，MLLM 在处理多模态语义鸿沟方面仍然面临挑战，这可能导致错误生成，给社会带来潜在风险 ...
人类通过模仿和社交互动来学习社交技能。现有的构建语言代理的研究很大程度上没有充分研究这种社会学习过程。受这一差距的启发，我们提出了一种交互式学习方法 SOTOPIA-$\pi$，以提高语言代理的社交智能 ...
