User-customized intention understanding agent for planar scanned images
Feng Yike, Xuewei Li, Pengwei Liu, Guo Fengjun, Long Teng, Li Xi · Journal of Image and Graphics · 2025
目的移动端应用中对平面扫描图像的用户意图理解是常见的现实需求，传统方法主要是利用大量用户历史行为数据进行建模，预测用户对新图像的意图，但该应用场景面临着定制化问题、交互次数少等挑战，限制了传统方法的效果。而近几年出现的智能体方法可以较好地应对这些挑战，为定制意图理解任务提供了新的思路。基于此，提出了一个面向平面扫描图像的用户定制意图理解智能体。方法智能体由任务感知、任务规划、任务执行与反馈校正模块构成，并针对方法面临的小样本增量问题以及计算资源有限、基准数据集不足等技术挑战，首先提出了“分而治之”的域泛化方法，将基任务与定制化任务的推理解耦，使其互不影响。其次通过模板匹配进行意图理解，以实现无需微调即可应对新的定制化任务的功能。然后通过自提升策略减少意图理解结果噪声，提升域泛化的可靠性。此外还构建了平面扫描图像的定制意图理解基准数据集。结果本文智能体在所提出的基准数据集上与其他7种方法进行了比较，在平均交并比（mean intersection over union， mIoU）指标上，智能体的mIoU达90.47%，相比于性能第2的方法提高了15.60%，总正确率提高了22.10%。同时进行了消融实验，验证了智能体各部分的有效性。最后将智能体应用在公开票据数据集CORD（consolidated receipt dataset）上，验证了智能体的泛化能力。结论本文提出的智能体超越了前沿检测和分割模型在平面扫描图像的定制意图理解任务上的表现，同时回避了对每个子任务微调模型的过程，方法具有有效性和高效性。