Large Language Model Inference Acceleration: A Comprehensive Hardware Perspective

大型语言模型 (LLM) 在从自然语言理解到文本生成的各个领域都表现出了卓越的能力。与 BERT 和 DeBERTa 等非生成式 LLM 相比，GPT 系列和 Llama 系列等生成式 LLM 因其优越的算法性能而成为目前的主要关注点。生成式 LLM 的进步与硬件能力的发展密切相关 ...

MSTF: Multiscale Transformer for Incomplete Trajectory Prediction

运动预测在自动驾驶系统中起着关键作用，使车辆能够根据周围车辆的预测执行碰撞警告和理性的本地路径计划。但是，普遍的方法通常假设完全观察到的轨迹，忽略了对象遮挡，范围限制和传感器故障引起的缺失值的潜在影响。这些疏忽不可避免地会损害轨迹预测的准确性 ...

Configurable Non-uniform All-to-all Algorithms

MPI_ALLTOALLV通过启用流程之间各种大小的数据块的交换来概括统一的全能通信（MPI_ALLTOALL）。此功能在许多应用中起着至关重要的作用，例如FFT计算和关系代数操作。流行的MPI库，例如MPICH和OPENMPI，使用线性和对数算法的组合实现MPI_AllToAll ...

Identifying while Learning for Document Event Causality Identification

事件因果关系识别（ECI）旨在检测文档中两个事件之间是否存在因果关系。现有研究在学习范式后采用了一种识别，首先学习事件的表示，然后用于识别。此外，它们主要集中于因果关系，但忽略了因果方向 ...

Learning to Embed Categorical Features without Embedding Tables for Recommendation

嵌入分类特征（例如用户/项目ID）的学习是各种推荐模型的核心，包括矩阵分解和神经协作过滤 ...

Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey

大规模的预训练视力模型（PVM）在各种下游视力任务中显示出很大的适应性潜力。但是，随着最先进的PVM增长到数十亿甚至数万亿个参数，由于高度计算和存储需求，标准的完整微调范式变得不可持续。作为响应，研究人员正在探索参数有效的微调（PEFT），该调查试图超过最小的参数修改的完整微调的性能 ...

Fast, High-Quality and Parameter-Efficient Articulatory Synthesis using Differentiable DSP

电磁轨迹摄影（EMA）（EMA）等发音轨迹提供了声带过滤器的低维表示，并已被用作自然的言语综合特征。可区分的数字信号处理（DDSP）是音频合成的参数效率框架。因此，将低维EMA特征与DDSP相结合可以显着提高语音合成的计算效率 ...

ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers

神经语音编解码器旨在将输入信号压缩为最小的位，同时以低延节方式保持内容质量。但是，现有的神经编解码器通常以重建性能交易模型复杂性。这些编解码器主要使用卷积块进行特征转换，这些特征转换不适合捕获语音信号中的局部冗余 ...

Progressive Compression with Universally Quantized Diffusion Models

从图像产生到反问题解决方案，扩散概率模型已在许多生成建模任务中取得了主流成功。这些模型的一个独特特征是它们对应于深层层次的潜在变量模型，以优化数据可能性上的各种证据下限（ELBO）。利用了可能性建模和压缩之间的基本连接，我们探索了扩散模型进行渐进编码的潜力，从而产生了一系列可以逐步传播和解码的位序列，并逐步提高重建质量 ...

LLMEmbed: Rethinking Lightweight LLM's Genuine Function in Text Classification

随着大语言模型（LLM）的蓬勃发展，及时学习已成为一种有前途的方法，主要在各个研究领域进行研究。最近，已经进行了许多基于迅速学习的尝试，以提高文本分类的性能。但是，这些方法中的大多数基于启发式思想链（COT），并且往往更复杂但效率较低 ...