HiFormer: Hierarchical Multi-scale Representations Using Transformers for Medical Image Segmentation
卷积神经网络（CNN）已成为医疗图像分割任务的共识。但是，由于卷积操作的性质，它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了 Transformer 来解决这个问题，但它们未能捕获低级功能 ...
差异化私有（DP）合成数据是用于启用私人数据分析的多功能工具。大型语言模型（LLM）的最新进展激发了许多用于改善DP合成数据生成的算法技术。一种方法在基础型号的权重上使用DP登录；但是，最新模型的模型权重可能不公开 ...
本文从整体角度，跨越数据，算法和系统硬件探讨了AI超级线性增长趋势的环境影响。我们通过检查跨行业规模的机器学习用例，同时考虑系统硬件的生命周期来表征AI计算的碳足迹。进一步迈出一步，我们捕获了AI计算的运营和制造碳足迹，并对硬件软件设计和尺度优化的方法以及如何有助于减少AI的整体碳足迹进行了端到端分析 ...
CPE-Pro: A Structure-Sensitive Deep Learning Method for Protein Representation and Origin Evaluation
蛋白质结构对于理解其功能和相互作用很重要。当前，许多蛋白质结构预测方法正在丰富结构数据库。区分结构的起源对于区分实验解析和计算预测结构，评估预测方法的可靠性以及指导下游生物学研究至关重要 ...
我们建议使用新型的多模式联合训练框架MMAUDIO合成视频和可选文本条件，以合成高质量和同步音频。与仅在（有限）视频数据的情况下进行的单模式训练相反，MMAUDIO是通过更大尺寸，容易获得的文本原告数据共同培训的，以学会生成语义上一致的高质量音频样本。此外，我们通过条件同步模块改善了视听同步，该模块将视频条件与框架级别的音频潜在的条件保持一致 ...
机器学习（ML）取得了巨大的进步，但其环境足迹仍然是一个令人担忧的问题。认识到ML的环境影响不断增长，本文研究了绿色ML，研究了培训和推理阶段中的各种模型架构和超参数，以识别节能实践。我们的研究利用基于软件的功率测量值，以便于跨不同配置，模型和数据集的复制 ...
当前用于多元时间序列预测（MTSF）的 Transformer 方法均基于常规注意机制。它们涉及嵌入序列并执行Q，K和V的线性投影，然后在此潜在空间内计算注意力。我们从未深入研究注意机制，以探索这种映射空间是否最适合MTSF ...
微调预培训的基础模型在各个研究领域都广受欢迎。现有的微调方法可以大致分为两类，即参数有效的微调和高性能微调。前者旨在提高效率，而后者则侧重于提高性能 ...
