课程项目 / 医学影像分割

HBA-VAN: Hierarchical Boundary-Aware Volumetric Attention Network for Multi-Modal Glioma Subregion Segmentation

面向多模态 BraTS 脑胶质瘤子区域分割的边界感知 3D attention network。

BME1312 Artificial Intelligence in Medical Imaging · 课程项目 · 上海科技大学 · 2026

Email 报告 PDF Slides

HBA-VAN 多模态脑胶质瘤 MRI 分割

课程BME1312

类型课程项目 / 医学影像分割

任务BraTS 风格多模态脑胶质瘤子区域分割

模态T1 · T1ce · T2 · FLAIR

目标区域WT · TC · ET

BME1312

项目概述

本项目面向配准后的多模态脑 MRI，研究自动化脑胶质瘤子区域分割。目标是预测三个具有临床含义且存在嵌套关系的区域：WT（Whole Tumor）、TC（Tumor Core）和 ET（Enhancing Tumor）。网页将其整理为一个从 2D slice-wise segmentation 逐步推进到完整 3D volumetric reasoning 的作品集项目。

摘要

T1、T1ce、T2 和 FLAIR 为肿瘤范围、核心结构和增强区域提供互补信息。
WT、TC 和 ET 是嵌套的 multi-label hierarchy，而不是互斥的语义类别。
ET 通常很小且稀疏，带来严重类别不平衡和不稳定的 case-level Dice。
肿瘤边界较模糊，因此 HD95 和 error map 与 overlap metric 同样重要。

WTWhole Tumor

覆盖更广的异常肿瘤范围

TCTumor Core

更紧凑且边界敏感的核心区域

ETEnhancing Tumor

较小且依赖增强模态的增强肿瘤区域

方法设计

方法按照渐进式 pipeline 组织。各阶段保持 WT / TC / ET multi-label segmentation 任务不变，同时逐步增加模型可以利用的 through-plane spatial evidence。

流程

Data preprocessing

读取每个病例的配准 NIfTI volumes。
将 T1、T1ce、T2 和 FLAIR 堆叠为四通道 MRI 输入。
裁剪 nonzero brain foreground，减少冗余黑色背景。
在 brain voxels 内对每个模态进行 z-score normalization。
根据 BraTS-style labels 构造 WT / TC / ET multi-label masks。
采用 patient-level train / validation / test split，避免 slice leakage。

流程

Task2 baseline

训练 2D U-Net 进行 slice-wise segmentation。
输入为单个 axial slice 上的四模态 MRI。
输出 WT、TC 和 ET 三个独立 sigmoid masks。
将 2D 模型作为强 baseline，而不是弱化的参考实现。

流程

Task3 progression

引入 2.5D U-Net variants，将相邻 axial slices 作为局部上下文。
评估 neighboring slices 对 TC 和 ET 边界判别的帮助。
进一步从浅层 depth context 推进到完整 3D volumetric feature learning。

流程

Final model: HBA-VAN

使用 3D residual encoder-decoder 进行体数据推理。
结合 attention-gated skip fusion、deep supervision 与 boundary-aware auxiliary learning。
为最小的 ET 子区域加入 ET-specific refinement branch。
通过 ET ⊂ TC ⊂ WT 的 hierarchy regularization 约束预测。
使用 sliding-window inference 重建 full-volume predictions。

核心结果

最终 3D HBA-VAN 同时提升了区域 overlap 与边界敏感指标。相比 2D U-Net baseline，mean Dice 从 0.8962 提升到 0.9167，mean HD95 从 6.6879 降低到 2.8165。

MethodSpatial ModelingWTTCETMean DiceHD95

Task2 U-Net2D0.92530.90900.85440.89626.6879

Best 2.5D2.5D0.93810.92240.86670.90914.0447

HBA-VAN3D0.94030.91440.89540.91672.8165

Mean Dice0.8962 → 0.9167

2D U-Net 到 HBA-VAN

HD956.6879 → 2.8165

边界误差降低

ET Dice0.8544 → 0.8954

小增强肿瘤区域提升

Spatial model2D → 2.5D → 3D

逐步增强空间上下文

结果

Mean Dice 从 2D U-Net baseline 的 0.8962 提升到 HBA-VAN 的 0.9167。
Mean HD95 从 6.6879 降低到 2.8165，说明边界定位质量显著改善。
ET Dice 从 Task2 U-Net 的 0.8544 提升到 HBA-VAN 的 0.8954。
2.5D 模型验证了局部 inter-slice context 的价值，而完整 3D 建模取得最佳整体结果。

视觉材料

下方图片从报告和展示材料中裁剪并优化为网页素材，重点保留图表和定性结果本身，而不是直接展示完整页面截图。

包含 T1、T1ce、T2、FLAIR 以及 WT、TC、ET 肿瘤 mask 的多模态 MRI 可视化。 — 多模态 MRI 可视化与嵌套 WT / TC / ET 目标 mask。

Task2 2D U-Net slice-wise segmentation 流程，输出 WT、TC 和 ET sigmoid masks。 — Task2 baseline：四通道 axial slice 输入的 2D U-Net 分割流程。

HBA-VAN 架构图，包含 3D residual encoder-decoder、attention gates、boundary head、ET refinement、hierarchy regularization 和 sliding-window reconstruction。 — HBA-VAN 架构：volumetric attention、boundary learning、ET refinement 与 hierarchy regularization。

Task2 2D U-Net、2.5D U-Net 和 HBA-VAN 的定性比较，包含 prediction 和 error maps。 — 从 2D 到 2.5D 再到 3D segmentation 的跨方法定性对比。

展示 3D attention boundary model、HBA-VAN 及其空间 error maps 的 ablation comparison。 — ET refinement 与 boundary-aware prediction 的 ablation / error-map 可视化。

我的参与

Contributed to the final project report and presentation material organization.
Participated in result interpretation and qualitative analysis.
Helped summarize the model design, experimental findings, and medical-imaging motivation.
Integrated the project into a reproducible academic portfolio format.

链接与资源

原始项目报告和展示 slides 作为静态 portfolio assets 提供。由于没有提供公开代码仓库，网页中不添加不存在的代码链接。

该项目是 BME1312 Artificial Intelligence in Medical Imaging 的团队课程项目。网页仅总结技术内容，不展示队友学号、邮箱或其他不必要的个人标识信息。

报告 PDF Slides