VeCLIP: Improving CLIP Training via Visual-enriched Captions

大规模网络爬取数据集是预训练视觉语言模型（例如 CLIP）成功的基础。然而，网络抓取的 AltText 固有的噪声和潜在的不相关性给实现精确的图像文本对齐带来了挑战。利用大型语言模型 (LLM) 进行字幕重写的现有方法已在 CC3M 和 CC12M 等小型精选数据集上显示出前景 ...

Review of Generative AI Methods in Cybersecurity

大语言模型（LLM）和生成人工智能（GenAI）构成了网络安全的范式转变，带来了前所未有的挑战和机遇。在研究 GenAI 在网络安全中的最先进应用时，这项工作强调了 Google Gemini 和 ChatGPT-4 等模型如何潜在地增强安全协议、漏洞评估和威胁识别。我们的研究强调了利用 LLM 来识别和消除复杂网络威胁的新方法的重要性 ...

Training Compute-Optimal Large Language Models

我们研究了在给定计算预算下训练 Transformer 语言模型的最佳模型大小和标记数量。我们发现，当前的大型语言模型训练明显不足，这是最近关注扩展语言模型同时保持训练数据量恒定的结果。通过在 5 到 5000 亿个令牌上训练 400 多个语言模型，参数范围从 7000 万到超过 160 亿个参数，我们发现，对于计算最优的训练，模型大小和训练令牌的数量应该同等缩放：对于模型的每一次加倍size 训练令牌的数量也应该加倍 ...