基本概念
多模态医学图像分割：多模态医学图像分割指融合多模态图像的信息以提高分割性能。常见的医学图像主
要有计算机断层扫描（Computed Tomography， CT）、磁共振成像（Magnetic Resonance Imaging， MRI）和正电子发射断层扫描（Positron Emission computed Tomography， PET）等。
- CT图像是肌肉及骨骼疾病，如骨肿瘤、骨折等疾病的常用诊断成像
- MRI图像能提供较好的软组织对比度
- 功能性影像（例如PET）缺乏解剖特征，但能提供疾病的定量代谢和功能信息
T1w: T1 加权成像 T2w: T2加权成像
融合多模态医学图像进行分割已经成了研究热点
多模态医学图像分割数据集
脑肿瘤分割（Brain Tumor Segmentation， BraTS）数据集
缺血性中风病变分割（Ischemic Stroke LEsion Segmentation， ISLES）数据集
MR 脑图像分割（MR Brain image Segmentation，MRBrainS）数 据 集
新生儿脑分割（Neonatal Brain Segmentation， NeoBrainS）数据集
组合（CT-MR）腹部器官分 割 （Combined CT-MR Healthy Abdominal Organ Segmentation， CHAOS）数据集
婴儿脑 MRI 分割（6-month Infant brain MRI segmentation， Iseg）数据集
多模态MR图像自动椎间盘定位分割（automatic InterVertebral Disc localization and segmentation from 3D MR images， IVDM3Seg）数据集
数据预处理
数据预处理对后续分割任务有重要影响；尤其对多模态医学图像进行分割时，由于图像具有强度不一、对比度各异、噪声较大等特点，为使图像像素值分布更统一、网络训练更平滑，需要将图像经过预处理操作后再送入分割网络。如图所示，典型的预处理技术主要有图像配准、偏置场校正、图像重采样、强度值归一化等。
数据增强通过对训练数据集中的图像进行变换（旋转、平移、缩放、翻转、扭曲以及加入某些噪声如高斯噪声等），增加了可用的训练数据。数据增强技术在医学图像的分割任务中有着广泛的应用。
损失函数
交叉熵损失（Cross-Entropy loss， CE）函数：交叉熵损失是最常用的损失函数之一，对每个像素的类别预测进行单独评估，然后对所有像素点进行平均。
$$
Loss_{\mathrm{CE}}=-\sum_{i\in N}\sum_{l\in L}y_{i}^{l}\log\hat{y}_{i}^{l}
$$
加权交叉熵损失（Weighted Cross-Entropy loss， WCE）函数：在医学图像分割任务中由于大部分像素点属于背景类，因此在计算损失时对不同类别的像素点赋予不同的权重是合理的，并可以缓解类别不平衡问题
$$
Loss_{\mathrm{WCE}}=-\sum_{i\in N}\sum_{l\in L}w_{l}y_{i}^{l}\log\hat{y}_{i}^{l}
$$
骰子损失（DICE loss）：骰子损失同样是医学图像分割中常用的损失函数之一。它可以衡量预测结果和真实结果之间重合度
焦点损失（Focal loss，FL）：焦点损失最初是为目标检测任务设计的。它通过向交叉熵损失引入一个调节因子γ和一个参数α使模型将训练重点放在困难像素点上
其中：y ∈ { - 1，+ 1}代表像素点的真实类别；pt衡量了模型预测结果与真实值之间的差异，值越大表示越接近；γ为可调节因子，可以平滑地调整简单样本的权重降低的速度。当γ > 0时，可以减小简单样本的相对损失，把重点放在困难样本上；当γ = 0时，焦点损失变为交叉熵损失。
三种融合方法：输入级融合、中间层融合以及决策级融合
参考文献：
[1] 窦猛,陈哲彬,王辛,周继陶,姚宇.基于深度学习的多模态医学图像分割综述[J].计算机应用,2023,43(11):3385-3395
