- 名称
- UMIE: Unified Multimodal Information Extraction with Instruction Tuning
- 描述
随着多媒体含量的普及增加,多模式信息提取(MIE)引起了极大的关注。但是,当前的MIE方法通常使用特定于任务的模型结构,从而导致跨任务的可推广性有限,并且不足以跨MIE任务的共同知识。为了解决这些问题,我们提出了统一的多模式信息提取器Umie,将三个MIE任务统一作为使用指令调整的一代问题,能够有效地提取文本和视觉提及 ...
随着多媒体含量的普及增加,多模式信息提取(MIE)引起了极大的关注。但是,当前的MIE方法通常使用特定于任务的模型结构,从而导致跨任务的可推广性有限,并且不足以跨MIE任务的共同知识。为了解决这些问题,我们提出了统一的多模式信息提取器Umie,将三个MIE任务统一作为使用指令调整的一代问题,能够有效地提取文本和视觉提及 ...