Gut（IF=26.2）吉林大学第一医院吕国悦教授等团队：基于Token引导的多模态肝细胞癌预后模型：以肿瘤-间质比例为驱动的框架

01文献学习今天分享的文献是由吉林大学第一医院吕国悦教授等团队于2026年3月在《Gut》中科院1区topIF26.2上发表的研究“Token-guided multimodal prognosis in hepatocellular carcinoma: a framework steered by tumour-stroma ratio”即基于Token引导的多模态肝细胞癌预后模型以肿瘤-间质比例为驱动的框架该研究提出了一种基于人工智能的多模态预后模型首次揭示肝细胞癌中肿瘤-间质比例与患者预后之间存在倒U型非线性关系并开发了一种Token引导的多模态融合架构将WSI图像、TSR和临床变量作为高维Token输入模型显著提升了预后预测性能。研究还通过转录组学和免疫组化验证了TSR相关生物学机制。创新点①揭示TSR与预后的倒U型非线性关系突破传统线性假设首次发现肿瘤-间质比与死亡率呈倒U型关联并明确风险阈值0.188-0.268。②提出Token引导的多模态融合架构将TSR编码为高维语义Token与全切片图像和临床变量联合输入Transformer超越简单像素计数范式。③利用基础模型实现免标注TSR量化基于Conch v1.5和轻量级分类器实现无需人工标注的全自动TSR评估与专家一致性R²0.9。临床价值①提供标准化、可复现的TSR评估工具支持跨中心一致应用克服人工评估主观性为肝癌术后风险分层提供客观依据。②补充现有TNM分期系统的不足尤其在早期肝癌中提供独立的基质维度预后信息改善低风险患者的识别能力。③纠正深度学习模型的细胞密集偏好通过TSR语义锚点使模型关注肿瘤-间质界面提升预测可解释性与临床信任度。图 1研究设计与AI多模态预后框架A患者筛选与队列构建JLU队列392例HCC剔除不合格后371例用于建模TCGA队列168例剔除后159例外部验证B病理切片选择与标注7点标准化肿瘤取样→选代表性切片→WSI数字化→专家标注5类组织肿瘤/基质/坏死/正常肝/背景CTSR定义TSR基质面积/肿瘤床面积肿瘤床肿瘤基质坏死DWSI分块与特征提取全切片去背景→分256×256不重叠patch→Conch提取768维高维特征EAI自动计算pTSR基于patch分类结果排除正常肝/背景计算基质patch占比F多模态预后模型patch嵌入TSR表征临床变量→Token编码→ViT多模态融合→端到端生存预测02研究背景和目的研究背景肝细胞癌HCC是全球范围内预后异质性极强的恶性肿瘤现有分期系统难以精准捕获其复杂的临床转归模式。尽管肿瘤微环境TME已被广泛认为是肿瘤进展的关键调控因素但既往研究多聚焦于免疫景观而对结构性病理参数如肿瘤-间质比TSR的探索仍显不足。TSR在结直肠癌、乳腺癌等实体瘤中被视为有潜力的预后替代标志物但在HCC中的应用却充满争议且未充分开发。HCC具有独特的间质架构表现为间质成分稀少、窦状隙毛细血管化异质性高传统视觉评估方法难以胜任。当前TSR评估多依赖单张切片的人工估算不仅耗时且存在显著观察者间变异更无法捕捉HCC作为大体积器官肿瘤所固有的空间异质性。尽管人工智能AI已被尝试用于肿瘤分级与结构特征识别但其对TSR的处理仍停留在简单的像素比例计算忽视了间质形态中蕴含的高维生物学信息。基础模型的出现为弥合这一缺口提供了可能但尚未被用于TSR研究。因此亟需一种标准化、可自动化且具备生物学可解释性的AI框架重新审视TSR在HCC中的预后价值。研究目的本研究围绕两个相互关联的核心目标展开。首先作者试图突破传统线性假设系统性地探究TSR与HCC预后之间是否存在非线性关系并在此基础上识别出具有生物学意义的风险分层阈值。通过采用限制性立方样条RCS分析研究旨在揭示TSR可能存在的“倒U形”风险动态从而解释既往文献中关于TSR预后作用的矛盾结论。其次研究致力于开发一个AI驱动的多模态预后框架实现TSR的标准化、自动化、免标注量化并将其与全切片图像WSI及临床变量深度融合。区别于传统方法将TSR视为单一标量该框架创新性地将TSR编码为高维语义令牌并引入Token引导的多模态融合架构使模型能够显式关注间质成分校正“高细胞密度偏倚”。最终目标不仅是提升HCC预后预测的准确性曲线下面积 0.80更是实现生物学可解释的临床决策支持推动计算病理学从“数值预测”向“高维语义推理”的范式转变。03数据和方法研究数据JLU队列392例HCC患者2017-2021年吉林大学第一医院TCGA-LIHC队列168例HCC患者外部验证集数据包括WSI病理图像、临床变量、转录组数据部分患者、IHC数据技术方法TSR量化使用病理图像基础模型Conch v1.5提取patch特征训练MLP分类器自动识别肿瘤、间质、坏死区域。非线性建模使用限制性立方样条RCS分析TSR与生存的非线性关系。多模态融合模型构建Token-guided ViT架构融合WSI patch特征、TSR Token、临床变量。模型评估时间依赖AUC、C-index、校准曲线、决策曲线分析、SHAP可解释性分析。生物学验证RNA-seqDESeq2、GSEA、IHC。04实验结果非线性关系发现TSR与死亡率呈倒U型关系风险起始阈值为0.188峰值在0.268超过0.392后风险下降。AI性能AI预测的TSR与病理专家评估高度相关R² 0.9。模型性能多模态模型在JLU和TCGA队列中AUC 0.80优于单模态和传统Cox模型。生物学机制高TSR组富集细胞周期、EMT、血管生成、炎症通路超高风险组0.392常见厚包膜。注意力机制TSR引导模型关注间质区域纠正了传统DL模型对高细胞密度区域的偏倚。图 2TSR在HCC中的预后价值图 3TSR-生存非线性关联与RCS风险分层图 4AI预测pTSR的定量验证图 5多模态模型性能与可解释性图 6TSR非线性预后的生物学机制05研究结论该研究通过对肝细胞癌患者的多模态数据分析首次揭示了肿瘤-间质比与预后之间呈倒U型非线性关系并识别出风险起始阈值0.188和峰值点0.268突破了传统线性假设的局限。研究团队开发了一种基于Token引导的多模态融合框架将病理全切片图像、TSR和临床变量转化为高维语义token显著提升了预后预测性能AUC 0.80并通过SHAP分析和注意力热图验证了TSR在模型中的关键作用及其对间质区域注意力的校准能力。转录组和免疫组化分析进一步表明高风险TSR表型与肿瘤增殖、间质激活及微环境交互等通路密切相关。该框架不仅实现了与病理专家高度一致的自动化TSR量化还克服了传统深度学习模型的“高细胞密度偏倚”将TSR从简单标量提升为具有生物学语义的高维锚点。研究结论支持将TSR作为HCC预后评估的补充指标并强调未来计算病理学应朝向人类领域知识与AI语义融合的方向发展从而实现更可解释、更稳健的临床决策支持。参考文献Huang HY, Wu K, Qu LM, Sun XD, Li MY, Wei F, Zhang P, Kow AWC, Chen YG, Jin MS, Guo L, Qiu W, Wang M, Shi XJ, Ye JF, Hu CH, Zhao YX, Huang Y, Fan ZQ, Zheng YS, Xie FY, Lv GY. Token-guided multimodal prognosis in hepatocellular carcinoma: a framework steered by tumour-stroma ratio. Gut. 2026 Mar 18:gutjnl-2025-337945. doi: 10.1136/gutjnl-2025-337945.