基本信息 - Is Information Extraction Solved by ChatGPT? An Analysis of Performance, Evaluation Criteria, Robustness and Errors

arxiv Is Information Extraction Solved by ChatGPT? An Analysis of Performance, Evaluation Criteria, Robustness and Errors

阅读

Star 0

名称: Is Information Extraction Solved by ChatGPT? An Analysis of Performance, Evaluation Criteria, Robustness and Errors

首页: https://yiyibooks.cn/arxiv/2305.14450v1/index.html

原始地址: https://arxiv.org/abs/2305.14450

描述

ChatGPT 刺激了大语言模型领域的研究热潮。在本文中，我们从性能、评估标准、鲁棒性和错误类型四个角度评估 ChatGPT 的能力。具体来说，我们首先在零样本、少样本和思维链场景下在 17 个数据集、14 个 IE 子任务上评估 ChatGPT 的性能，发现 ChatGPT 和 SOTA 结果之间存在巨大的性能差距 ...