Cross-media analysis and reasoning based on knowledge graphs
Wang Shuhui, Qianqian Xu, Huang Qingming · Journal of Image and Graphics · 2025
跨媒体分析与推理在网络内容管理和服务等领域具有重要意义。然而现有方法在处理复杂的跨域、异构、多源数据时存在解释性、可回溯性和泛化能力不足的问题。大语言模型尽管在大量跨媒体分析任务中取得了显著成就，但其架构的黑盒属性和训练数据的时效性限制了模型的广泛有效性。相比之下，知识图谱技术以其结构化、语义化和可扩展性的特点，能够提供透明、准确和可回溯的推理过程，从而提高分析的解释性、回溯性和泛化能力。为了更好地促进跨媒体分析与推理研究的发展，本文对知识图谱技术在跨媒体内容分析推理中的应用进行了调研和综述，重点介绍了跨媒体知识图谱构建、表征和泛化推理3个关键问题，并讨论了当前跨媒体知识图谱研究中存在的问题、分析展望了未来的研究方向。