arxiv Beyond Language Models: Byte Models are Digital World Simulators

名称
Beyond Language Models: Byte Models are Digital World Simulators
首页
https://yiyibooks.cn/arxiv/2402.19155v1/index.html
原始地址
https://arxiv.org/html/2402.19155v1
描述
传统的深度学习经常忽视字节,这是数字世界的基本单位,其中所有形式的信息和操作都以二进制格式进行编码和操作。受到自然语言处理中下一个标记预测成功的启发,我们引入了 bGPT,这是一个具有下一个字节预测功能的模型,用于模拟数字世界。 bGPT 与各种模式(包括文本、音频和图像)的性能专业模型相匹配,并为预测、模拟和诊断算法或硬件行为提供了新的可能性 ...