本文介绍了一种新方法，以PDF格式从技术图中提取和分析矢量数据。我们的方法涉及将PDF文件转换为SVG格式并创建富特征的图表表示，该图表使用几何信息捕获向量实体之间的关系。然后，我们应用具有分层标签定义的图形注意 Transformer ，以实现准确的线路级分割 ...
我们训练一个多语言模型进行依赖性解析，并使用它以几种语言解析句子。解析模型使用（i）多语言单词簇和嵌入； （ii） Token 级的语言信息； （iii）特定语言特征（细粒度的POS标签）。该输入表示不仅可以用多种语言有效地解析解析器，而且还可以基于语言普遍性和类型学相似性跨语言进行概括，从而使从有限的注释中学习更有效 ...
近年来，人们对开放式识别领域的兴趣越来越多，该领域允许分类模型在培训集中遇到对象或类别时，可以将输入识别为“未知”。这种标记未知输入的能力对于许多现实世界分类应用程序至关重要。由于几乎所有用于神经网络的现代训练方法都使用大量的正则化来进行概括，因此重要的是要检查正则化技术如何影响模型执行开放式识别的能力 ...
大型语言模型（LLMS）在各种任务上表现出了出色的性能，但是它们从特定于领域的数据集中提取和内部化更深入见解的能力仍然没有得到充实的态度。在这项研究中，我们研究了持续的预训练如何增强LLMS跨三种不同形式的洞察力学习能力：声明性，统计和概率见解。专注于两个关键领域：医学和金融，我们雇用Lora在两个现有数据集上培训LLM ...
随着人工智能的进步，Experts（MOE）的组合已成为大型语言模型（LLM）的主要形式，其对模型压缩的需求正在增加。量化是一种有效的方法，不仅可以压缩模型，而且可以显着加速其性能。现有的量化方法已逐渐将重点从参数缩放转移到数据分布的分析 ...
随着在智能系统中广泛使用深层神经网络（DNN），极大地要求具有高性能和能源效率的DNN加速器。作为可行的内存处理（PIM）体系结构之一，基于3D堆叠的DRAM PIM（DRAM-PIM）体系结构可实现大容量的存储器和低成本内存访问，这是DNN加速器的有希望的解决方案，具有更好的性能和能量效率。但是，堆叠DRAM的低成本特征以及存储器访问和数据存储的分布方式需要我们重新平衡硬件设计和DNN映射 .. ...
场景中无缝移动对象是图像编辑的常见要求，但对于现有编辑方法来说，这仍然是一个挑战。特别是对于现实世界的图像，闭塞情况进一步增加了困难。主要困难是需要在移动进行之前完成遮挡部分 ...
专家（MOE）模型的混合物由于其较大的参数计数和计算需求而面临部署挑战。我们探讨了MOE模型的量化，并突出显示了两个关键见解：1）线性块表现出不同的量化灵敏度，而2）不同的专家激活频率会产生异质的计算特征。基于这些观察结果，我们介绍了MXMOE，这是MOE模型的混合精液优化框架，它考虑了算法和系统观点 ...
