MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Complet

题目：

MyGO：将离散模态信息作为细粒度令牌用于多模态知识图谱补全

摘要：

相关代码和数据已开源，地址为：GitHub - zjukg/MyGO: [Paper][AAAI 2025] (MyGO)Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation

引言：

相关工作：

符号定义：

模型：

本节将详细介绍我们提出的框架 ——MyGO（全称：ModalitY information as fine-Grained tOkens，即 “将模态信息作为细粒度令牌”）。我们采用主流的多模态知识图谱补全（MMKGC）设定 ，涵盖图像和文本两种模态 。 MyGO 主要包含三个核心模块：模态令牌化模块、层级三元组建模模块和细粒度对比学习模块， 分别用于处理、融合和增强多模态知识图谱（MMKG）中的细粒度信息。图 2 直观展示了 MyGO 的设计架构。

模态令牌化：

层级三元组建模

关系解码器：

细粒度对比学习

训练目标：

实验：

数据集：

评估指标：

基线方法：

实现细节：

主要结果：

结论：