基本信息

编程是一种强大且无处不在的解决问题的工具。开发可以帮助程序员甚至独立生成程序的系统可以使编程更加高效和易于访问，但迄今为止，整合人工智能创新已被证明具有挑战性。最近的大规模语言模型已经展示了令人印象深刻的生成代码的能力，并且现在能够完成简单的编程任务。然而，当对更复杂、看不见的问题进行评估时，这些模型仍然表现不佳，这些问题需要解决问题的技能，而不仅仅是将指令转换为代码。例如，需要理解算法和复杂自然语言的竞争性编程问题仍然极具挑战性。为了解决这一差距，我们引入了 AlphaCode，这是一种代码生成系统，可以为这些需要更深入推理的问题创建新颖的解决方案。在Codeforces平台近期的编程竞赛模拟评测中，AlphaCode在超过5000人参与的竞赛中平均排名前54.3%。我们发现三个关键组件对于实现良好且可靠的性能至关重要：(1) 用于训练和评估的广泛而干净的竞争性编程数据集，(2) 基于 Transformer 的大型且高效采样的架构，以及 (3) 大规模模型采样以探索搜索空间，然后根据程序行为过滤一小部分提交 ...