arxiv Saturated Transformers are Constant-Depth Threshold Circuits

阅 读

Star 0
名称
Saturated Transformers are Constant-Depth Threshold Circuits
首页
https://yiyibooks.cn/arxiv/2106.16213v3/index.html
原始地址
https://arxiv.org/pdf/2106.16213
描述
变形金刚已成为许多NLP问题的标准神经网络体系结构，从而激发了其在形式语言方面对其力量的理论分析。最近的工作表明，强烈注意的 Transformer 的功率非常有限（Hahn，2020），因为它们可以通过恒定深度和/或电路进行模拟（Hao等人2021） ...