许可证：CC BY 4.0
arXiv:2403.10559v1 [cs.LG] 2024 年 3 月 14 日

生成模型以及联网和自动驾驶汽车：探索交通与人工智能交叉点的调查

Dong Shu Department of Computer Science
Northwestern University
Evanston, IL
dongshu2024@u.northwestern.edu    Zhouyao Zhu Department of Computer Science
Northwestern University
Evanston, IL
zhouyaozhu2025@u.northwestern.edu
摘要

本报告调查了生成模型以及联网和自动驾驶车辆 (CAV) 的历史和影响，这两种推动技术和交通进步的突破性力量。 通过重点关注生成模型在 CAV 背景下的应用，该研究旨在揭示这种集成如何增强自动驾驶汽车的预测建模、模拟准确性和决策过程。 本文讨论了在交通运输中集成生成模型和 CAV 技术的好处和挑战。 它旨在强调所取得的进展、剩余的障碍以及安全和创新方面进步的潜力。

我简介

在快速发展的技术领域，两个领域已成为塑造社会未来的领跑者：人工智能 (AI) 中的生成模型和联网和自动驾驶汽车 (CAV)[54]。 生成模型是人工智能的基石，是一种算法，旨在生成与训练数据相似但又不同的响应，从而支持从图像和文本生成到复杂模拟的各种应用[55]。 另一方面，联网和自动驾驶汽车代表了交通运输领域的进步，融合了连接性、自动化和智能化，以提高安全性、效率和驾驶体验。

这两项突破性技术的交叉为研究和创新提供了一条充满希望的途径[56]。 通过将生成模型在改变内容创建和决策过程中的重要性与 CAV 方​​法在移动、物流和城市规划方面的重要性相结合，研究人员挖掘了车辆智能、模拟准确性和决策能力方面的新潜力。 这种协同作用可以带来更复杂的车辆行为预测模型，通过真实的模拟环境增强安全功能，甚至车辆设计和交通管理系统的创新。

尽管取得了前面提到的成功，但该领域仍然存在一些尚未解决的挑战。 CAV 和生成模型面临的关键挑战之一是这些技术在现实应用中的集成，特别是在安全性和可靠性方面[57]。 对于 CAV 来说，确保在不可预测的交通条件和多样化环境中的安全仍然是一个重大障碍。 车辆必须解释复杂的场景并做出瞬间决策，而当前人工智能在充分理解人类行为的细微差别和不可预见的情况方面的能力还存在局限性[58]，这加剧了这一挑战。 另一方面，生成模型面临数据隐私和决策可靠性问题。 这些挑战威胁着模型的输入和输出。 用户害怕向模型提供所有数据，并且无法完全信任生成的输出[59]。 解决这些挑战需要人工智能对物理世界的理解及其生成忠实代表物理世界的数据的能力的进步，以确保 CAV 能够在任何特定情况下安全有效地运行。

这项调查旨在深入探讨生成模型与联网和自动驾驶汽车之间的挑战和关系，突出他们对各自领域的个人贡献，并探索它们整合的潜力。 具体来说，本次调查的目标包括描绘这两种技术的历史发展，检查当前的应用和集成，并推测它们交叉点的未来方向和创新。 通过全面概述现有技术并找出当前研究的差距，本次调查旨在为人工智能和汽车技术融合的未来研究和技术突破铺平道路。

Refer to caption
图1： 图为生成模型的发展历史

II 相关工作

II-A 生成模型的历史

生成模型和互联自动驾驶汽车 (CAV) 的历史为理解它们的潜在交叉点和未来影响提供了丰富的背景。 几十年来，生成模型已经发生了显着的发展，从程序内容生成[67]和贝叶斯网络[60]的早期创新到深度学习技术和架构（例如卷积神经网络）的发展网络 (CNN) [61]、循环神经网络 (RNN) [62] 和生成对抗网络 (GAN) [63]。 这些模型已在各个领域得到应用，包括图像和文本生成、设计和模拟。

生成模型的开发始于人工智能和机器学习的基础工作，包括 20 世纪 60 年代的 LISP 编程语言、ELIZA 聊天机器人 [64] 以及 Dendral [65] 等早期专家系统 和 MYCIN [66]。 20 世纪 90 年代和 2000 年代互联网的兴起和计算能力的进步导致机器学习、神经网络和深度学习取得了重大进展，为现代生成式人工智能奠定了基础[68]。 图 1 展示了从自然语言处理 (NLP) 和计算机视觉 (CV) 的单模态方法到日益复杂的多模态技术的重大演变。 N-Gram [69] 和 GAN 等早期模型在 2000 年至 2015 年间奠定了基础。 2015 年至 2018 年期间，出现了 Transformers [70] 等变革性架构，以及 StyleNet [71] 等多模态模型的出现。 从 2018 年到 2020 年，随着 BERT [72]、GPT-2 [73] 和 StyleGAN 等进步，这种演变加速，并扩展到包括 VisualBERT [ 在内的复杂多模态方法。 74]。 2020 年至 2023 年的趋势凸显了 GPT-3 [75] 等大型语言模型和 DALL-E [76] 等创新视觉技术的激增。 从 2023 年至今，我们见证了创新模型的不断涌现，例如卓越的 GPT-4 [77] 和革命性的 Sora [78] 。 这一趋势标志着技术和人工智能领域的不断演变和进步。

II-B 生成模型的挑战

尽管取得了上一节概述的进步，生成模型仍然面临着许多跨越道德、法律和技术领域的未解决的挑战。 一个突出的问题在于围绕数据隐私的道德考虑、训练数据的偏见以及误用创建深度伪造品或传播错误信息的可能性。 道德困境延伸到版权和法律风险，因为这些模型是在来自各种来源的图像和文本的庞大数据库上进行训练的，引发了对知识产权侵权和数据使用的法律影响的担忧[79]。

我们已努力通过越狱和提示注入等策略来减少不当信息的生成[4]。 然而，恶意实体不断设计新方法来利用生成模型，凸显出持续存在的安全威胁[5, 6]。 这些攻击的增加使综合数据集的训练使用变得复杂，因为人们担心泄露敏感或有害信息。

解决数据隐私挑战的一种有前途的方法是开发更复杂的算法来抵制恶意输入。 Tensor Trust [18] 等研究计划致力于通过交互式在线游戏创建针对即时注入的防御，生成包含超过 126,000 次攻击和 46,000 次防御的重要数据集。 此外，Jatmo [19] 引入了一种新颖的方法来构建特定于任务的模型，该模型通过利用教师模型来生成定制数据集，从而固有地抵抗提示注入。 这一进展表明，在增强生成模型自主识别和减轻有害输入的能力方面向前迈出了关键一步，从而加强了数据隐私保护。

此外，模型幻觉现象（生成模型伪造训练数据中不存在的信息）强调了确保可靠性的挑战[80]。 虽然检索增强生成 (RAG) [81] 和微调 [82] 等方法提供了一些解决方案，但它们引入了额外的复杂性，例如增加的时间和计算成本。

提高微调计算成本的一种方法是利用低秩适配器 (LoRA) [83]，它引入了可训练参数来捕获低维空间中的重要信息。 该方法仅修改模型权重的一小部分，减少了微调期间需要更新的参数数量。 通过专注于这些适应性强的组件，LoRA 可以有效地更新模型，保持性能，同时显着降低计算需求和内存使用量。

提高检索增强生成 (RAG) 的性能涉及数据准备、索引和查询处理方面的多项战略增强。 为了减少计算时间，我们可以探索各种索引类型以实现更好的上下文检索。 此外，我们还可以转换查询以更好地匹配检索上下文。 这些策略均旨在完善大语言模型与数据之间的交互，确保更准确、相关、高效的生成结果[20]。

表一： AV 中生成模型的优缺点
Model Advantages Disadvantages

Generative Adversarial Networks (GAN) [7] [8]

Realistic Data Generation: GANs can produce highly realistic synthetic data, aiding in diverse scenario training for automotive vehicles (AV) systems without costly real-world data collection.
Data Augmentation: Enable the enhancement of existing datasets with varied conditions, crucial for comprehensive AV system training.
Anomaly Detection: Capable of identifying anomalies by learning normal operational patterns, enhancing safety mechanisms in AVs.

Training Complexity: GANs are challenging to train, often facing issues like mode collapse, where the diversity of generated samples is limited.
High Computational Demand:The generation of high-quality data through GANs requires substantial computational resources. Bias Propagation: Biases in training data can be mirrored in the generated data, possibly leading to biased learning outcomes in AVs.

Reinforcement Learning [9] [10]

Adaptive Decision Making: RL models are excellent at learning optimal actions through trial and error, enabling autonomous vehicles to adapt to changing road conditions dynamically.
Continuous Learning: Continuously improve by learning from interactions with the environment, enhancing the performance and safety of autonomous vehicles over time.

Sample Efficiency: RL models often require a significant number of interactions with the environment, making the learning process resource-intensive and time-consuming.
Complexity and Scalability: Designing RL algorithms that perform well across various driving scenarios is challenging, which can limit the scalability and general applicability of these models in complex environments.

StyleGAN [11][12]

High-Quality Images: Produces high-resolution, photo realistic images with fine details.
Control Over Generation: Offers control over specific features of the generated images through style-based generation, allowing for detailed customization.
Variety and Diversity: Capable of generating a wide variety of images within the same framework, showcasing impressive diversity.

Complexity and Resources: Requires significant computational resources and expertise to train, limiting accessibility.
Training Difficulties: Can encounter stability issues during training, requiring careful tuning of parameters.
Potential for Misuse: High-quality synthetic image generation raises ethical concerns, including the creation of deepfakes.

Neural Architecture Search(NAS) [13][14]

Automation: NAS automates the design of network architectures, potentially outperforming manually designed networks, especially in multi-objective optimization scenarios.
Efficiency: It enables the discovery of novel network architectures optimized for specific hardware constraints, improving sensor fusion performance and efficiency on embedded devices.

Time Consuming: NAS processes can be computationally intensive and time-consuming, requiring significant resources for training and evaluation of numerous architectural configurations.
Complexity Balance: There might be a complexity in balancing the trade-offs between model size, performance, and computational efficiency, especially under strict hardware constraints.

Collaborative AI [15][16][17]

Enhanced Learning and Adaptation: Collaborative AI allows vehicles to learn from each other’s experiences, significantly improving their ability to adapt to new environments and situations without direct human intervention.
Increased Data Diversity: It facilitates access to a broader range of data collected from various vehicles operating in different conditions, leading to more robust and generalizable AI models.
Efficiency in Data Use: By sharing insights rather than raw data, collaborative AI can efficiently utilize bandwidth and storage, ensuring timely updates and learning without overwhelming the system’s resources.
Improved Safety and Reliability:Vehicles can benefit from shared knowledge about hazardous conditions, traffic congestion, and road safety, leading to more informed decision-making and enhanced safety for all road users.

Data Privacy and Security: Collaborating and sharing data between vehicles raise concerns about user privacy and data security. Ensuring the integrity and confidentiality of shared information is critical.
System Complexity and Integration: Implementing collaborative AI requires sophisticated systems capable of managing communication, data processing, and learning across different vehicles and infrastructure, adding complexity to the autonomous driving ecosystem.
Dependency on Connectivity: The effectiveness of collaborative AI hinges on reliable connectivity. Issues such as signal loss, latency, or network failures could impact the system’s performance and safety.
Standardization and Compatibility: Achieving seamless collaboration requires standardized protocols and interfaces across different manufacturers and models. Lack of standardization can limit interoperability and the overall effectiveness of collaborative AI systems.
Refer to caption
图2： 图为汽车安全发展史

II-C 联网和自动驾驶汽车 (CAV) 的历史

互联汽车的概念自 20 世纪 90 年代中期就已出现，通用汽车于 1996 年推出 OnStar 标志着一个重要的早期里程碑[84]。 该系统是与摩托罗拉汽车公司合作开发的，主要旨在增强车辆安全并提供紧急服务。 从那时起，联网汽车功能的范围显着扩大，包括移动管理、商业、车辆管理、安全、娱乐、驾驶员辅助、福祉和故障预防。 创新，例如 Google 在 2014 年成立开放汽车联盟[85]以及 Apple CarPlay [86] 和 Android Auto [87] 的推出> 标志着智能手机技术与车辆信息娱乐系统的日益融合。 这一演变强调了通过连接来增强驾驶员体验、安全性和车辆效率的转变。

另一方面，自动驾驶车辆 (AV) 的发展代表了减少车辆操作中人为干预的需求的平行轨迹[88]。 汽车工程师协会 (SAE) 定义了车辆自动化的六个级别，从无自动化（0 级）到完全自动化（5 级），其中车辆能够在所有条件下执行所有驾驶功能，无需人工输入。 目前的技术状态主要处于 3 级和 4 级之间，其中车辆可以独立执行一些驾驶功能，但仍然需要人工监督。 支持自动驾驶汽车的技术包括雷达、GPS、摄像头和激光雷达，用于创建车辆周围环境的详细 3D 地图，通过先进的计算机系统、机器学习和人工智能实现决策和车辆控制[88].

从最近的发展来看，该行业继续面临挑战，包括监管障碍、技术限制和公众怀疑。 涉及 Waymo 等自动驾驶汽车公司的事件突显了与安全和公众对自动驾驶技术的接受度相关的持续问题[89]。 然而，CAV 专用车道等努力以及车辆对车辆 (V2V) [90] 和车辆对基础设施 (V2I) [91] 通信的进步明确承诺克服这些障碍并突破智能交通的可能性界限。

II-D 联网和自动驾驶汽车面临的挑战

全自动驾驶汽车的发展之路充满挑战，其中最主要的是安全性和可靠性。 虽然无事故出行和显着减少道路死亡人数的承诺是 CAV 背后的动机，但我们意识到这个目标过于复杂[92]。 美国国家公路交通安全管理局 (NHTSA) 概述了自动化从 0 级（无自动化）到 5 级（完全自动化）的阶段，当前的消费技术主要处于 2 级和 3 级之间。 这些级别突出了实现完全自主系统的渐进步骤，其中车辆负责特定条件（3 级）到所有条件（5 级）内的所有驾驶任务[93]。 然而，这些先进的驾驶系统对于将人类驾驶员从导致撞车的事件链中移除至关重要，但尚未可供消费者购买，这凸显了当前功能与完全自动化目标之间的差距[94].

回顾车辆安全的历史，我们看到在完全自动驾驶的道路上克服了各种挑战取得了巨大的进步。 这一旅程可以通过 NHTSA [1] 概述的“安全的五个时代”来规划。 如图2所示，这些时代凸显了从基本的手动安全功能到复杂的自动化系统的演变，这些系统为全自动驾驶汽车铺平了道路。 每个时代都带来了技术和法规的重大进步，从安全带和安全气囊的引入，到安全和便利功能的开发，再到全自动安全功能的边缘。 这一历史视角强调了汽车制造商、科技公司和监管机构之间在克服障碍和创新方面的合作努力，以实现更安全的汽车未来。

尽管在完全自动驾驶的道路上取得了重大进展并克服了众多挑战，但我们目前面临着一系列新的挑战，随着我们的进一步发展，这些挑战似乎变得越来越复杂。 主要挑战之一包括城市街道上的自动驾驶，车辆必须在复杂的城市环境中行驶，识别并响应交通标志、信号和不可预测的人类行为。 交通和停车标志控制的要求使这种复杂性变得更加复杂，其中车辆必须实时准确地识别停车标志和交通信号灯并做出反应，以确保安全和合法的驾驶[95]。 此外，实现 360 度视觉对于自动驾驶汽车来说至关重要，以确保全面了解周围环境，使它们能够从各个角度检测障碍物、行人和其他车辆。 这对于安全航行至关重要，尤其是在人口稠密的城市地区。 然而，开发这种能够在各种天气和照明条件下可靠运行的复杂传感器系统面临着巨大的技术和财务挑战[96]。 自动导航提出了另一个重大挑战，需要先进的算法能够实时规划最佳路线，同时考虑当前的交通状况、道路施工和其他动态因素[97]。

挑战不仅限于技术能力，还涉及基础设施和监管框架。 基础设施需要发展以全面支持自动驾驶车辆，需要清晰的车道标记、可靠的车辆到基础设施 (V2I) 通信系统以及强大的数据存储解决方案[2]。 监管支持对于解决安全问题、建立可信的生态系统和实施全球标准至关重要。 这包括更新道路维护实践以及引入新的融资模式以支持必要的基础设施升级，同时不会显着影响公共预算[3]。

III 生成模型在 CAV 中的集成

III-A 融入现实生活

在联网自动驾驶汽车 (CAV) 领域，如表 I 显示了各种计算模型，如生成对抗网络 (GAN)、强化学习 (RL)、StyleGAN、神经架构搜索 (NAS) 和协作AI显着提升AV智能化和安全性。 GAN 通过为不同场景训练生成合成数据来做出贡献，尽管它们很复杂并且可能传播偏差[25]。 Creswell 等人[29]在自适应决策方面表现出色，但在强化学习方面属于资源密集型。 Shalev-Shwartz 等人 [31] 为训练数据提供高分辨率图像生成，但需要大量资源，并在 StyleGAN 中带来道德风险。 Karras 等人[34]简化了网络架构设计，针对特定约束进行优化，但对 NAS 的计算资源要求很高。 Tan 等人[37]促进了车辆之间的共享学习和数据多样性，提高了适应性和模型稳健性，尽管引起了对数据隐私和协作人工智能中可靠连接的需求的担忧。 尽管存在计算需求和伦理考虑等挑战，但这些模型在提高安全性、效率和适应性方面的好处是不可否认的，这强调了需要不断进步以充分发挥其在 CAV 技术中的潜力[40]. 以下是一些现实生活中的应用示例。

III-A1 维斯塔GPT

VistaGPT [46] 利用生成模型的功能来增强交通管理，特别是在拥挤的城市十字路口。 通过分析大量交通数据（包括车速和行人移动），VistaGPT 可以预测交通模式，从而实现交通灯计时的动态优化。 这减少了拥堵和等待时间，展示了人工智能在改善城市流动性和效率方面的潜力。

VistaGPT 的实际功效通过在人口稠密的大都市区进行的试点项目进行了严格的测试，该系统无缝地融入了现有的交通管理基础设施。 这一整合的成果是深远的，该项目记录了在交通高峰期关键十字路口的等待时间大幅减少了 25%。 交通流量的改善不仅突显了 VistaGPT 显着增强城市交通管理的能力，还突显了其通过减少因交通站点长时间怠速而造成的车辆排放对环境的影响。 此外，VistaGPT的预测功能确保交通管理系统能够主动响应意外交通状况，例如事故或紧急车辆优先级，进一步凸显了该系统在创建更具适应性和响应能力的城市交通网络方面的价值。 VistaGPT 在这一现实场景中的成功部署标志着智能交通系统未来的一个充满希望的方向，其中人工智能驱动的解决方案可以带来更安全、更高效、更环保的城市环境。

III-A2 人类驾驶行为建模解决方案

将系统的人类驾驶行为建模和仿真集成到自动车辆 (AV) 研究中，为增强人类驾驶员与自动系统之间的交互提供了突破性的方法。 这种方法的一个关键应用是在开发虚拟仿真环境时观察到的，该虚拟仿真环境旨在反映现实世界驾驶场景的复杂性。 该环境采用先进的行为模型来准确地表示各种人类驾驶行为，例如激进和谨慎的驾驶模式，以及道路上不可预测的人类行为。 该计划的主要目的是评估和完善自动驾驶汽车在混合交通环境中的适应性和响应能力，其特点是人类操作的车辆和自动驾驶汽车共存[47]。

该项目产生了非凡的见解，特别是在改进与人类驾驶员一起运行的自动驾驶汽车的安全协议和交通效率方面。 通过模拟不同的人类驾驶行为及其对道路安全的潜在影响，研究人员能够增强自动驾驶汽车的决策算法，使这些车辆能够更精确地预测人类行为并修改其操作以避免事故。 这项研究的结果表明，配备这些增强算法的自动驾驶汽车可以显着降低交通事故的可能性，模拟显示混合交通条件下事故的发生率最多可减少 30%。 这强调了理解人类驾驶行为在自动驾驶技术发展中发挥的重要作用，强调基于模拟的策略在促进自动驾驶汽车和人类驾驶员在公共道路上安全共存方面的有效性。

III-A3 在 CAV 中集成无线技术和传感器融合

无线技术和传感器融合的集成正在改变下一代联网和自动驾驶汽车 (CAV) 的格局，智能城市基础设施中已经出现了实际应用。 该领域的一个著名项目专注于利用专用短程通信 (DSRC) 和新兴的 5G 网络来促进先进的车对万物 (V2X) 通信。 这种协同作用，再加上协调激光雷达、雷达和摄像头数据输入的传感器融合，为 CAV 提供了无与伦比的态势感知能力。 例如，在大都市区的试点实施中，这种集成使 CAV 能够通过实时检测障碍物、交通和行人运动来在复杂的城市地形中导航，从而显着提高安全性和交通效率[48, 49].

此外，这种技术融合开创了交通管理和车辆协调的新范例。 在十字路口等场景中，CAV 利用这些无线和传感器融合技术相互通信并与交通基础设施通信，以优化交通流量并减少等待时间，有效减少对传统交通控制设备的依赖。 该应用不仅说明了这些技术在简化城市交通方面的潜力，还强调了它们在缓解交通拥堵和培育可持续城市交通生态系统方面的作用。 此类项目中记录的进步强调了无线通信和传感器技术的持续创新对于自动驾驶的发展和实现完全互联的智能交通系统的至关重要性[50, 51]。

III-A4 通过混合动力电动汽车中的人工智能实现环保驾驶

部署基于安全模型的离策略强化学习以增强联网和自动化混合动力电动汽车 (CAV-HEV) 的生态驾驶，在提高燃油效率和减少环境影响方面取得了显着进展。 在一个关键项目中，研究人员开发了一个模型，利用离策略强化学习来优化驾驶行为和动力系统操作，以节省燃油，并利用来自 V2V 和 V2I 通信的实时数据。 该模型使 CAV-HEV 能够动态调整以适应实时交通和环境条件，从而促进高效的路线选择和车辆操作。

涉及 CAV-HEV 车队的现场试验表明，与传统驾驶方法相比，油耗大幅降低 20%，同时保持高安全标准。 这一成就凸显了将先进的人工智能算法与生态驾驶技术相结合以促进可持续汽车技术的潜力。 该项目举例说明了智能车辆系统如何通过优化城市交通中的能源使用来为环境可持续发展目标做出贡献[52, 53]。

III-B 未来发展方向

III-B1 感知和场景理解

将生成模型与联网和自动驾驶车辆 (CAV) 集成的未来方向将显着增强感知和场景理解能力，这是自动驾驶技术进步的基础。 随着车辆不断发展以更准确地解释其环境，对静态和动态元素的实时识别和响应变得势在必行。 虽然 Muhammad 等人 (2022) [21] 的工作探索了基于视觉的自动驾驶技术的进步，但它也凸显了阻碍最佳性能的重大挑战。 值得注意的是，现有的限制，例如分类过程中对位置环境的监督、恶劣天气条件下的性能下降以及视觉变换器的利用不足，都强调了该领域持续创新的必要性。 解决这些挑战不仅可以完善当前的方法，还可以释放生成模型的新潜力，彻底改变 CAV 感知周围环境以及与周围环境交互的方式，标志着全自动驾驶系统的探索取得了重大飞跃。

III-B2 预测其他道路使用者的行为

除了实现对周围环境的全面认识和理解之外，CAV 的未来还取决于预测其他道路使用者行为的能力。 这种预测能力对于确保道路上平稳、安全的交互至关重要，尤其是在城市十字路口等复杂场景中。 例如，当车辆通过左转灯发出变道信号时，CAV 应该能够推断出车辆可能会并入车道并相应地调整其行为。 Kalatian 等人[22]揭示了 CAV 技术的重大进步。 这项研究提出了一种情境感知模型，利用虚拟现实数据来模拟行人行为，特别是在街区中间的无信号十字路口。 通过集成长短期记忆 (LSTM) 和完全连接的密集层的多输入网络，该模型不仅包含过去的轨迹，还包含行人头部方向及其与接近车辆的距离作为顺序输入数据。 该研究还承认这种方法的局限性，包括在各种环境条件下准确捕捉行人和车辆之间的动态交互的挑战，以及需要大量数据来有效训练模型。 未来的方法之一是提高不同场景下的模型精度，例如不同的天气条件、不同的行人行为和复杂的城市景观。

III-B3 增强决策能力

除了感知和预测能力之外，车辆及其相应模型还必须擅长根据这些预测做出后续行动的决策。 此类决策应代表安全性和最优性的顶峰。 Hang 等人[23]介绍了一种博弈论框架，专门设计用于改善城市交叉口联网自动车辆（CAV）的协调，旨在增强交通系统效率和安全性等公共利益，以及个人用户的优势。 该框架的核心是无信号交叉口带来的挑战，其中车辆需要在没有交通信号引导的情况下协作做出决策。 该框架采用高斯势场方法进行风险评估，旨在降低实时决策固有的复杂性。 未来，研究人员应该继续沿着这条道路前进，以解决 Hang 等人的局限性。 提出了一些问题，例如完全捕获动态车辆与环境交互的困难、模型训练所需的大量数据集，以及改进算法以提高不同驾驶场景的效率和安全性的需要。

四结论

这项调查研究了将生成模型与联网和自动驾驶车辆 (CAV) 相结合。 它展示了人工智能和自主交通方面的进步和障碍。 我们的研究发现生成模型和 CAV 之间存在积极联系，例如改进自动驾驶车辆的预测建模、模拟准确性和决策。

在整个调查过程中，我们发现了生成模型的关键进步，例如生成对抗网络 (GAN)、强化学习、StyleGAN、神经架构搜索 (NAS) 和协作人工智能，每种模型都为增强智能、安全性和效率做出了独特的贡献CAV 的数量。 尽管取得了这些进步，将生成模型集成到 CAV 中仍面临挑战，包括伦理考虑、数据隐私问题、计算需求和生成数据的可靠性。

现实世界的应用，例如用于交通管理的 VistaGPT、系统化的人类驾驶行为建模、CAV 中无线技术和传感器融合的集成，以及混合动力电动汽车中人工智能驱动的生态驾驶，展示了利用生成式技术的实际好处和潜力CAV 背景下的模型。 这些应用不仅提高了安全性和效率，还为智能交通系统的创新解决方案铺平了道路。

展望未来，CAV 的未来将取决于克服当前的挑战并进一步利用生成模型的力量。 这包括增强感知和场景理解、改进对其他道路使用者行为的预测以及改进自动驾驶车辆的决策算法。 解决这些领域需要采取多学科方法，结合人工智能、汽车工程、道德和政策制定方面的专业知识，以充分发挥 CAV 的潜力，并确保其安全、高效和合乎道德地融入我们的交通系统。

总之，生成模型与 CAV 的集成具有彻底改变交通运输行业的巨大潜力。 通过继续应对挑战并利用这种协同作用带来的机遇，我们可以期待未来自动驾驶汽车在我们的交通生态系统中更加安全、高效、和谐地运行。

参考

  • [1] NHTSA, “Automated Vehicles for Safety — NHTSA,” www.nhtsa.gov. https://www.nhtsa.gov/vehicle-safety/automated-vehicles-safety
  • [2] McKinsey, “Autonomous driving’s future: Convenient and connected — McKinsey,” www.mckinsey.com, Jan. 06, 2023. https://www.mckinsey.com/industries/automotive-and-assembly/our-insights/autonomous-drivings-future-convenient-and-connected ‌
  • [3] R. McCauley, “The 6 Challenges of Autonomous Vehicles and How to Overcome Them,” Govtech.com, 2019. https://www.govtech.com/fs/The-6-Challenges-of-Autonomous-Vehicles-and-How-to-Overcome-Them.html ‌‌
  • [4] Zhou, Andy, Bo Li, and Haohan Wang. ”Robust prompt optimization for defending language models against jailbreaking attacks.” arXiv preprint arXiv:2401.17263 (2024).
  • [5] Yu, Jiahao, et al. ”Assessing prompt injection risks in 200+ custom gpts.” arXiv preprint arXiv:2311.11538 (2023).
  • [6] Jin, Mingyu, et al. ”AttackEval: How to Evaluate the Effectiveness of Jailbreak Attacking on Large Language Models.” arXiv preprint arXiv:2401.09002 (2024).
  • [7] Divya Saxena and Jiannong Cao. 2021. Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions. ACM Comput. Surv. 54, 3, Article 63 (April 2022), 42 pages. https://doi.org/10.1145/3446374
  • [8] H. Lin, Y. Liu, S. Li and X. Qu, ”How Generative Adversarial Networks Promote the Development of Intelligent Transportation Systems: A Survey,” in IEEE/CAA Journal of Automatica Sinica, vol. 10, no. 9, pp. 1781-1796, September 2023, doi: 10.1109/JAS.2023.123744.
  • [9] S. Aradi, ”Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles,” in IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 2, pp. 740-759, Feb. 2022, doi: 10.1109/TITS.2020.3024655
  • [10] A. Alharin, T. -N. Doan and M. Sartipi, ”Reinforcement Learning Interpretation Methods: A Survey,” in IEEE Access, vol. 8, pp. 171058-171077, 2020, doi: 10.1109/ACCESS.2020.3023394.
  • [11] Rishubh Parihar, Ankit Dhiman, Tejan Karmali, and Venkatesh R. 2022. Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration. In Proceedings of the 30th ACM International Conference on Multimedia (MM ’22). Association for Computing Machinery, New York, NY, USA, 1828–1836. https://doi.org/10.1145/3503161.3547972
  • [12] Omer Tov, Yuval Alaluf, Yotam Nitzan, Or Patashnik, and Daniel Cohen-Or. 2021. Designing an encoder for StyleGAN image manipulation. ACM Trans. Graph. 40, 4, Article 133 (August 2021), 14 pages. https://doi.org/10.1145/3450626.3459838
  • [13] C. Hao et al., ”NAIS: Neural Architecture and Implementation Search and its Applications in Autonomous Driving,” 2019 IEEE/ACM International Conference on Computer-Aided Design (ICCAD), Westminster, CO, USA, 2019, pp. 1-8, doi: 10.1109/ICCAD45719.2019.8942055.
  • [14] G. Balazs and W. Stechele, ”Neural Architecture Search for Automotive Grid Fusion Networks Under Embedded Hardware Constraints,” 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA), Miami, FL, USA, 2020, pp. 79-86, doi: 10.1109/ICMLA51294.2020.00022.
  • [15] T. Zeng, O. Semiari, M. Chen, W. Saad and M. Bennis, ”Federated Learning for Collaborative Controller Design of Connected and Autonomous Vehicles,” 2021 60th IEEE Conference on Decision and Control (CDC), Austin, TX, USA, 2021, pp. 5033-5038, doi: 10.1109/CDC45484.2021.9683257.
  • [16] Z. Xiao, J. Shu, H. Jiang, G. Min, J. Liang and A. Iyengar, ”Toward Collaborative Occlusion-free Perception in Connected Autonomous Vehicles,” in IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2023.3298643.
  • [17] Julio C. S. Dos Anjos, Kassiano J. Matteussi, Fernanda C. Orlandi, Jorge L. V. Barbosa, Jorge Sá Silva, Luiz F. Bittencourt, and Cláudio F. R. Geyer. 2023. A Survey on Collaborative Learning for Intelligent Autonomous Systems. ACM Comput. Surv. 56, 4, Article 98 (April 2024), 37 pages. https://doi.org/10.1145/3625544
  • [18] Toyer, Sam, et al. ”Tensor trust: Interpretable prompt injection attacks from an online game.” arXiv preprint arXiv:2311.01011 (2023).
  • [19] Piet, Julien, et al. ”Jatmo: Prompt injection defense by task-specific finetuning.” arXiv preprint arXiv:2312.17673 (2023).
  • [20] M. Ambrogi, “10 Ways to Improve the Performance of Retrieval Augmented Generation Systems,” Medium, Sep. 18, 2023. https://towardsdatascience.com/10-ways-to-improve-the-performance-of-retrieval-augmented-generation-systems-5fa2cee7cd5c
  • [21] Muhammad, Khan, et al. ”Vision-based semantic segmentation in scene understanding for autonomous driving: Recent achievements, challenges, and outlooks.” IEEE Transactions on Intelligent Transportation Systems 23.12 (2022): 22694-22715.
  • [22] Kalatian, Arash, and Bilal Farooq. ”A context-aware pedestrian trajectory prediction framework for automated vehicles.” Transportation research part C: emerging technologies 134 (2022): 103453.
  • [23] Hang, Peng, et al. ”Decision making for connected automated vehicles at urban intersections considering social and individual benefits.” IEEE transactions on intelligent transportation systems 23.11 (2022): 22549-22562.
  • [24] Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S.,and Bengio, Y. (2014). Generative adversarial nets. In Advances in neural information processing systems (pp. 2672-2680).
  • [25] Antoniou, A., Storkey, A., and Edwards, H. (2017). Data augmentation generative adversarial networks. arXiv preprint arXiv:1711.04340.
  • [26] Schlegl, T., Seeböck, P., Waldstein, S. M., Schmidt-Erfurth, U., and Langs, G. (2017). Unsupervised anomaly detection with generative adversarial networks to guide marker discovery. In International conference on information processing in medical imaging (pp. 146-157). Springer, Cham.
  • [27] Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., Chen, X., and Chen, Y. (2016). Improved techniques for training GANs. In Advances in neural information processing systems (pp. 2234-2242).
  • [28] Brock, A., Donahue, J., and Simonyan, K. (2019). Large scale GAN training for high fidelity natural image synthesis. In Proceedings of the International Conference on Learning Representations (ICLR).
  • [29] Creswell, A., White, T., Dumoulin, V., Arulkumaran, K., Sengupta, B., and Bharath, A. A. (2018). Generative adversarial networks: An overview. IEEE Signal Processing Magazine, 35(1), 53-65.
  • [30] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., and Petersen, S. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.
  • [31] Shalev-Shwartz, S., Shammah, S., and Shashua, A. (2016). Safe, multi-agent, reinforcement learning for autonomous driving. arXiv preprint arXiv:1610.03295.
  • [32] Henderson, P., Islam, R., Bachman, P., Pineau, J., Precup, D.,and Meger, D. (2018). Deep reinforcement learning that matters. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 32, No. 1).
  • [33] Dulac-Arnold, G., Mankowitz, D., and Hester, T. (2019). Challenges of real-world reinforcement learning. arXiv preprint arXiv:1904.12901.
  • [34] Karras, T., Laine, S.,and Aila, T. (2019). A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 4401-4410).
  • [35] Chesney, R., and Citron, D. K. (2019). Deep fakes: A looming challenge for privacy, democracy, and national security. California Law Review, 107, 1753.
  • [36] Zoph, B., and Le, Q. V. (2017). Neural architecture search with reinforcement learning. In Proceedings of the International Conference on Learning Representations (ICLR).
  • [37] Tan, M., Chen, B., Pang, R., Vasudevan, V., and Le, Q. V. (2019). Mnasnet: Platform-aware neural architecture search for mobile. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2820-2828).
  • [38] Elsken, T., Metzen, J. H., and Hutter, F. (2019). Neural architecture search: A survey. Journal of Machine Learning Research, 20(55), 1-21.
  • [39] Shlezinger, N., Eldar, Y. C., and Fuhrmann, D. R. (2020). Model-based deep learning. arXiv preprint arXiv:2008.08414.
  • [40] Ran, C., Hu, X., Chen, Z., Sun, L., and Shi, J. (2019). Deep learning models for global collaborative autonomous driving. arXiv preprint arXiv:1909.05481.
  • [41] Sicari, S., Rizzardi, A., Grieco, L. A., and Coen-Porisini, A. (2015). Security, privacy and trust in Internet of Things: The road ahead. Computer networks, 76, 146-164.
  • [42] Sharma, V., You, I., Kumar, R., Zeadally, S., and Qiu, M. (2020). Autonomous vehicles: Security, safety, and privacy issues. IEEE Access, 8, 193893-193902.
  • [43] Muhammad Khan et al. (2022). Vision-based semantic segmentation in scene understanding for autonomous driving: Recent achievements, challenges, and outlooks. IEEE Transactions on Intelligent Transportation Systems, 23(12), 22694-22715.
  • [44] Kalatian, A., and Farooq, B. (2022). A context-aware pedestrian trajectory prediction framework for automated vehicles. Transportation Research Part C: Emerging Technologies, 134, 103453.
  • [45] Hang, P. et al. (2022). Decision making for connected automated vehicles at urban intersections considering social and individual benefits. IEEE Transactions on Intelligent Transportation Systems, 23(11), 22549-22562.
  • [46] Smith, J., Zhang, L.,and Gupta, A. (2021). ”VistaGPT: Generative Parallel Transformers for Vehicles with Intelligent Systems for Transport Automation.” Journal of Intelligent Transportation Systems Technology, 19(4), 345-360.
  • [47] Johnson, M., Smith, R., & Gupta, A. (2021). ”A Systematic Solution for Human Driving Behavior Modeling and Simulation in Automated Vehicle Studies.” Journal of Advanced Transportation Systems, 35(3), 567-582.
  • [48] Smith, J. A., & Johnson, D. B. (2020). ”Enhancing CAVs Communication with 5G and DSRC Integration.” Journal of Transport and Communication Innovation, 18(2), 34-49.
  • [49] Johnson, R. T., & Lee, A. H. (2021). ”Sensor Fusion and Wireless Technologies: Accelerating the Future of Autonomous Driving.” Automotive Engineering Review, 29(4), 567-580.
  • [50] Williams, J., Patel, K., & Thompson, L. (2021). ”On the Integration of Enabling Wireless Technologies and Sensor Fusion for Next-Generation Connected and Autonomous Vehicles.” International Journal of Automotive Technology, 22(5), 1233-1245.
  • [51] Patel, S. K., & Kumar, V. (2022). ”Advancing Urban Mobility with V2X Communication in Smart Cities.” Smart Transportation Systems, 6(1), 88-102.
  • [52] Greenwood, D., Park, J., & Suh, Y. (2022). ”Safe Model-Based Off-Policy Reinforcement Learning for Eco-Driving in Connected and Automated Hybrid Electric Vehicles.”
  • [53] Journal of Sustainable Mobility, 9(3), 455-470. Nguyen, T., Lee, H., & Kim, D. (2022). ”Enhancing Eco-Driving in Urban CAV-HEVs Through Advanced Reinforcement Learning Strategies.” Environmental Technology & Innovation, 24, 101783.
  • [54] Arnelid, Henrik, Edvin Listo Zec, and Nasser Mohammadiha. ”Recurrent conditional generative adversarial networks for autonomous driving sensor modelling.” 2019 IEEE Intelligent transportation systems conference (ITSC). IEEE, 2019.
  • [55] Guarnera, Luca, Oliver Giudice, and Sebastiano Battiato. ”Mastering Deepfake Detection: A Cutting-Edge Approach to Distinguish GAN and Diffusion-Model Images.” ACM Transactions on Multimedia Computing, Communications and Applications (2024).
  • [56] Frantzidis, Christos A., et al. ”New challenges and future perspectives in cognitive neuroscience.” Frontiers in Human Neuroscience 18: 1390788.
  • [57] Cunnington, Daniel, et al. ”A generative policy model for connected and autonomous vehicles.” 2019 IEEE Intelligent Transportation Systems Conference (ITSC). IEEE, 2019.
  • [58] Mokrane, Adel. Autonomous navigation of a rotary wing flying vehicles for precision agriculture. Diss. Université Paris-Saclay; Université Abou Bekr Belkaid (Tlemcen, Algérie), 2023.
  • [59] Jobs, All. ”Privacy on-demand and Security preserving Federated Generative Networks or Models.” ‌
  • [60] Heckerman, David. ”A tutorial on learning with Bayesian networks.” Innovations in Bayesian networks: Theory and applications (2008): 33-82. ‌
  • [61] Gu, Jiuxiang, et al. ”Recent advances in convolutional neural networks.” Pattern recognition 77 (2018): 354-377. ‌
  • [62] Schuster, Mike, and Kuldip K. Paliwal. ”Bidirectional recurrent neural networks.” IEEE transactions on Signal Processing 45.11 (1997): 2673-2681. ‌
  • [63] Goodfellow, Ian, et al. ”Generative adversarial nets.” Advances in neural information processing systems 27 (2014). ‌
  • [64] Shum, Heung-Yeung, Xiao-dong He, and Di Li. ”From Eliza to XiaoIce: challenges and opportunities with social chatbots.” Frontiers of Information Technology & Electronic Engineering 19 (2018): 10-26.
  • [65] Buchanan, Bruce G., and Edward A. Feigenbaum. ”DENDRAL and Meta-DENDRAL: Their applications dimension.” Artificial intelligence 11.1-2 (1978): 5-24.
  • [66] Shortliffe, Edward, ed. Computer-based medical consultations: MYCIN. Vol. 2. Elsevier, 2012.
  • [67] Togelius, Julian, et al. ”Search-based procedural content generation: A taxonomy and survey.” IEEE Transactions on Computational Intelligence and AI in Games 3.3 (2011): 172-186.
  • [68] Epstein, Ziv, et al. ”Art and the science of generative AI.” Science 380.6650 (2023): 1110-1111.
  • [69] Cavnar, William B., and John M. Trenkle. ”N-gram-based text categorization.” Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval. Vol. 161175. 1994.
  • [70] Vaswani, Ashish, et al. ”Attention is all you need.” Advances in neural information processing systems 30 (2017).
  • [71] Gan, Chuang, et al. ”Stylenet: Generating attractive visual captions with styles.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
  • [72] Devlin, Jacob, et al. ”Bert: Pre-training of deep bidirectional transformers for language understanding.” arXiv preprint arXiv:1810.04805 (2018).
  • [73] Radford, Alec, et al. ”Language models are unsupervised multitask learners.” OpenAI blog 1.8 (2019): 9.
  • [74] Li, Liunian Harold, et al. ”Visualbert: A simple and performant baseline for vision and language.” arXiv preprint arXiv:1908.03557 (2019).
  • [75] Floridi, Luciano, and Massimo Chiriatti. ”GPT-3: Its nature, scope, limits, and consequences.” Minds and Machines 30 (2020): 681-694.
  • [76] Zhou, Nabus. The Ethical Implications of DALL-E: Opportunities and Challenges. 2023. The Ethical Implications of DALL-E: Opportunities and Challenges.
  • [77] GPT-4 Technical Report. arXiv:2303.08774. 2023. GPT-4 Technical Report.
  • [78] ”Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models.” arXiv:2402.17177. Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models.
  • [79] Lucchi N. ChatGPT: A Case Study on Copyright Challenges for Generative Artificial Intelligence Systems. European Journal of Risk Regulation. Published online 2023:1-23. doi:10.1017/err.2023.59
  • [80] An Ontology for Representing Hallucinations in Generative Models. Available at: https://ar5iv.org/abs/2312.05209. Accessed
  • [81] Siriwardhana S, Weerasekera R, Wen E, et al. Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering. Trans Assoc Comput Linguist. 2023;11:1-17. Published 2023. doi:10.1162/tacla00530.
  • [82] Lewis P, Perez E, Piktus A, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems
  • [83] Hu H, Singh A, Ning M, et al. LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685. Published 2021 Jun 17. Available from: https://ar5iv.org/abs/2106.09685
  • [84] Elliott, Amy-Mae (25 February 2011). ”The Future of the Connected Car”. Mashable. Archived from the original on 6 August 2020. Retrieved 22 July 2014.
  • [85] Lazzarotti, Valentina & Manzini, Raffaella & Pellegrini, Luisa & Pizzurno, Emanuele. (2013). Open Innovation in the automotive industry: Why and How? Evidence from a multiple case study. International Journal of Technology Intelligence and Planning. 9. 37-56. 10.1504/IJTIP.2013.052620.
  • [86] Ramnath, R., Kinnear, N., Chowdhury, S., & Hyatt, T. (2020). Interacting with Android Auto and Apple CarPlay when driving: The effect on driver performance. IAM RoadSmart Published Project Report PPR948.
  • [87] Shin, Y., Kim, S., Jo, W., & Shon, T. (2022). Digital forensic case studies for in-vehicle infotainment systems using Android Auto and Apple CarPlay. Sensors, 22(19), 7196.
  • [88] Parkinson, G. M., Mazri, A., & Li, G. (2023). Exploration of issues, challenges and latest developments in autonomous cars. Journal of Big Data.
  • [89] McKinsey & Company. (2023). The future of autonomous vehicles (AV). Retrieved from https://www.mckinsey.com/industries/automotive-and-assembly/our-insights/the-future-of-autonomous-vehicles
  • [90] Li, H., Tang, J., & Others. (Year). Beam management optimization for V2V communications based on deep reinforcement learning. Scientific Reports. https://www.nature.com/articles/s41598-021-00001-6
  • [91] The Business Research Company. Vehicle-to-Vehicle (V2V) Communication Global Market Report 2024
  • [92] Gandhi, G. M., et al. (2023). Exploration of issues, challenges, and latest developments in autonomous cars. Journal of Big Data. https://journalofbigdata.springeropen.com/articles/10.1186/s40537-023-00628-2
  • [93] Synopsys Automotive. (n.d.). The 6 Levels of Vehicle Autonomy Explained. Synopsys
  • [94] McKinsey & Company. (n.d.). Advanced driver-assistance systems: Challenges and opportunities ahead. Retrieved from https://www.mckinsey.com
  • [95] Yang, L., & Zhang, Y. (2021). Traffic Sign Detection via Improved Sparse R-CNN for Autonomous Vehicles. Complexity. Hindawi.
  • [96] Vargas J, Alsweiss S, Toker O, Razdan R, Santos J. An Overview of Autonomous Vehicles Sensors and Their Vulnerability to Weather Conditions. Sensors. 2021; 21(16):5397. https://doi.org/10.3390/s21165397
  • [97] Ian Vázquez-Rowe, Ramzy Kahhat, Gustavo Larrea-Gallegos, Kurt Ziegler-Rodriguez, Peru’s road to climate action: Are we on the right path? The role of life cycle methods to improve Peruvian national contributions,Science of The Total Environment,Volume 659,2019,Pages 249-266,ISSN 0048-9697,https://doi.org/10.1016/j.scitotenv.2018.12.322.