Whole slide pathological image classification of breast cancer based on mixed supervision learning
Zhang Jianxin, Chengyang Gao, Jian Sun, Xueyan Ding, Bin Liu · Journal of Image and Graphics · 2024
目的自监督与弱监督学习是解决乳腺癌全切片病理图像分类标注困难的有效方式。然而，由于组织病理图像的复杂性与多样性，仅依靠自监督学习生成的伪标签可能无法准确反映图像真实类别信息；同时，单一弱监督学习方法又存在标签信息匮乏等问题，在病理图像学习过程中易受干扰而导致预测结果不稳定。为此，提出了一种混合监督学习的乳腺癌全切片病理图像分类方法。方法首先，使用基于MoBY自监督框架进行训练，通过对比学习方式深入挖掘乳腺癌病理图像内在结构信息；然后，采用弱监督多示例学习方法进一步优化自监督模型，来获得更精准的判别示例；最后，从每幅全切片中筛选出具有代表性的乳腺癌病理图像关键示例，并借助Transformer编码器实现关键示例的特征融合以增强不同病理图像块之间的关联性，从而实现乳腺癌全切片病理图像的高精度分类。结果在公开的Camelyon-16乳腺癌病理图像数据集上进行实验评估，相比于该数据集上既有最优弱监督和自监督方法，本文方法的曲线下面积值分别可提升2.34%和2.74%，验证了所提出混合监督学习方法的有效性。此外，在MSK（Memorial Sloan-Kettering）腺癌病理外部验证数据集上较有监督方法取得了6.26%的性能提升，表明了本文方法的良好泛化能力。结论提出了混合监督学习的乳腺癌全切片病理图像分类方法，通过集成MoBY自监督对比学习与Transformer弱监督多示例学习，实现了乳腺癌全切片病理图像的更准确分类。