即时工程已成为一种强大的技术，可引导大型语言模型 (LLM) 做出所需的响应，从而显着提高其在不同任务中的性能。除了静态预测器的作用之外， LLM 还越来越多地充当智能代理，能够推理、决策并动态适应复杂的环境。然而，即时工程的理论基础在很大程度上仍未得到探索。在本文中，我们介绍了一个正式的框架，证明 Transformer 模型在提供精心设计的提示时，可以通过在推理过程中模拟“虚拟”神经网络来充当可配置的计算系统。具体来说，输入提示有效地转化为相应的网络配置，使 LLM 能够动态调整其内部计算。在此结构的基础上，我们建立了 $\beta$ 次可微函数的逼近理论，证明 Transformer 在适当结构提示的指导下可以以任意精度逼近此类函数。此外，我们的框架为几种经验上成功的提示工程技术提供了理论依据，包括使用更长的结构化提示、过滤不相关信息、增强提示 Token 多样性以及利用多代理交互。通过将 LLM 构建为适应性强的智能体而不是静态模型，我们的研究结果强调了它们自主推理和解决问题的潜力，为即时工程和人工智能智能体设计方面更稳健、更有理论基础的进步铺平了道路 ...