Med3DVLM 模型架构及训练流程详解

Fri, 30 Jan 2026 00:00:00 +0000

Med3DVLM 是一种专为医学影像诊断设计的多模态大模型，结合了先进的图像和文本处理技术，实现了对医学影像与相关文本信息的深度理解和关联。本文将详细介绍 Med3DVLM 的模型架构及其训练流程。

参考：mirthAI/Med3DVLM

训练阶段一：图文对比学习

这一阶段主要训练 Vision-Encoder 。

Vision-Encoder 图像编码器: DCFormer

DecompConv3D 分解 3D 卷积

如图，传统的 3D 卷积块的参数量为 $K \times K \times K$ ，可以在三个方向上进行分解，分别为 $K \times 1 \times 1$ 、 $1 \times K \times 1$ 和 $1 \times 1 \times K$ ，只保留三维中的“骨架”，参数减少为 $3 \times K$ 。（ $K$ 为奇数）

VLM - Tag - Kiraa

Med3DVLM 模型架构及训练流程详解

训练阶段一：图文对比学习

Vision-Encoder 图像编码器: DCFormer

DecompConv3D 分解 3D 卷积