【论著解读】人工智能看胃镜图片可预判良恶性病变、幽门螺杆菌感染及胃周淋巴结转移

转自：生物谷（维权）

摘要

随着大数据时代到来，大量医学图像为人工智能(artificialintelligence, AI)的介入提供了良好契机。为了探究深度学习卷积神经网络(convolutionalneural network, CNN)算法在胃镜图像分析中的价值，我们开发了胃镜图像人工智能辅助综合分析系统，并探究其在临床真实场景中性能。我们采集来自516例患者的6,270幅普通白光胃镜图像，带入14种CNN模型进行训练。图像数据按照7:1:2划分为训练集、验证集及测试集。研究发现，EfficientNetB7对区分胃癌(gastric cancer, GC)与良性胃黏膜病变(benign lesions, nGC)性能最优，预测准确率达96.40%，曲线下面积(area under thecurve, AUC)值为0.9959；对区分胃溃疡(gastric ulcer, GU)与溃疡型胃癌(ulcerated cancer,UCa)的预测准确率达90.84%，AUC值为0.8155；对区分早期胃癌(early gastriccancer, EGC)与非胃癌(nGC)的预测准确率达97.88%，AUC值为0.9943；对区分幽门螺杆菌感染(infectionof Helicobacter pylori, Hp)与非Hp感染(no infection of HP, noHp)的预测准确率达83.33%，AUC值为0.9096。在预测早期胃癌有无淋巴结转移方面, InceptionV3模型性能较好，其预测准确率为79.44%， AUC值为0.7181。本组有95例同时采集到同一患者胃镜图像及胃切除手术标本的大体图像，经EfficeintNetB7与RFB-SSD目标检测模型整合分析，将早期胃癌的病灶识别率提升至100%。将胃疾病诊疗路径中的多图源整合分析，不仅实现了AI辅助的病变识别与Hp感染识别，还能预测早期胃癌是否伴有胃周淋巴结转移，对于早期胃癌的治疗决策的制定具有重要参考价值。

材料与方法

胃镜图像数据集

研究总计采集到来自516例受试者的6,270幅普通白光胃镜图像(其中2,376幅图像采集自265例胃癌患者，3,894幅图像采集自251名非胃癌患者)。在剔除低质量图像(如黏膜表面附着大量黏液或严重的黏膜出血)后，最终有来自505名患者的6,194幅纳入AI模型训练分析（其中888幅早期胃癌图像来自94例患者；1,412幅进展期胃癌图像来自160例患者；3,160幅良性病变图像来自149例患者, 734幅图像来自102名胃溃疡患者）。本组有232/245例(内镜图像2,106幅）在胃镜活检明确诊断为胃癌后转入我院外科接受手术治疗，术后病理报告提供有详细的肿瘤浸润深度和胃周淋巴结转移信息（其中830幅图像来自104例淋巴结转移阳性患者，1,276幅图像来自128名淋巴结转移阴性者）。本组有95例同时采集到同一患者的胃镜图像及胃切除手术标本的大体图像。胃镜图像按照7:1:2比例划分到训练集、验证集和测试集，并确保同一病例的胃镜图像被纳入相同数据集中。训练集中的561幅/54例有Hp检测结果（252幅/24例为Hp阳性者，309幅/30例为Hp阴性者）。

胃手术切除标本的大体图像数据集

在95例转外科接受手术治疗病例中，41例为EGC患者，54例为进展期胃癌(advanced gastriccancer, AGC)患者。所有大体图像的采集均在标本离体后30分钟内进行。在剪开胃暴露病变部位后用生理盐水充分冲洗胃内黏液和附着的血块，胃黏膜病变图像以JPG格式存储。

CNN图像分类算法

对胃镜图片的分析时采用14个CNN模型，分别训练对病变性质、Hp感染和胃周淋巴结转移的预测能力。对大体标本的图片分析时采用RFB-SSD目标检测模型。AI 图像分析是基于Python的Keras深度学习平台进行。

结果

胃癌与非胃癌的二分类研究

对14个CNN模型进行预训练显示，EfficientNetB7模型的分类效果最好，经5折交叉验证，预测准确率为96.40%，AUC值为0.9959，精确率为97.91%，召回率为95.76%，F1值为0.9682。仅2例发生漏诊，皆为早期胃癌的印戒细胞组织类型（表1，图1）。

表1 胃癌与非胃癌二分类研究的CNN模型效果

胃癌与非胃癌的二分类研究结果

早期胃癌与非胃癌的二分类研究

EfficientNetB7模型在早期胃癌与非胃癌的二分类预测中表现最好，AUC值为0.9943，准确率97.88%，精确率为97.82%，召回率为97.88%，F1值为0.9785。其中对早期胃癌预测的准确率为91.76%，对非胃癌预测的准确率为99.52% (图2E)。

 早期胃癌与进展期胃癌以及早期胃癌与非胃癌的二分类研究结果

AI识别胃镜图像的Hp感染状态

胃黏膜感染Hp时，在胃镜观察下呈现胃黏膜萎缩、弥漫性发红或者黏膜肿胀，在放大胃镜下可见不规则表面微结构。在14个CNN模型中以EfficientNetB7模型识别Hp感染效果良好，预测准确率达83.33%，AUC值为0.9096，精确率为80.00%，召回率为83.33%，F1值为0.8333 (图3)。

图3

 EfficientNetB7模型在 Hp与noHp感染的二分类预测结果

AI通过胃镜图像预测胃周淋巴结转移

在14个CNN模型中，以InceptionV3对预测胃癌的胃周淋巴结转移状态效果最好，其预测准确率达66.01%，AUC值为0.7533，精确率为66.91%，召回率为46.04%，F1值为0.5455。为了探讨肿瘤浸润深度与有无淋巴结转移的关系，我们比较了两组胃癌的T分期发现，有淋巴结转移组的T分期明显高于无淋巴结转移组(T1: 5.88%, T2:0%, T3: 70.59%, T4: 23.53% vs. T1:56.00%, T2: 16.00%, T3: 24.00%, T4: 4.00%)。鉴于早期胃癌组有无胃周淋巴结转移是制定治疗决策的重要参考指标，我们又分析了26例早期胃癌的淋巴结转移情况，InceptionV3对早期胃癌有无淋巴结转移预测的AUC值与准确率为0.7181和79.44%。早期胃癌伴有淋巴结转移组的T分期明显高于无淋巴结转移组(T1a: 0%, T1b:100% vs. T1a: 57.14%, T1b: 42.86%) (图4)。

图4

AI通过胃镜图像预测淋巴结转移的结果

胃镜图像与手术切除样本图像的整合研究

鉴于EfficientNetB7模型在胃镜图像分析中表现良好，我们将采集自同一患者的多张胃镜图像在EfficientNetB7模型预测概率计算出平均预测概率，将均值大于0.5视为预测成功。并利用本团队自主研发的手术标本病灶定位的RFB-SSD目标检测模型，对同一批病例的手术标本图像进行预测，将预测置信度(confidence)大于0.5作为预测成功。在总计95例两类图像齐全的病例中，EfficeintNetB7模型对胃镜图像预测成功为93例，预测准确率为97.89%。RFB-SSD目标检测模型对手术标本大体图像的预测成功为79例，预测准确率为83.16%。有两例胃镜图像在EfficeintNetB7模型中未能成功预测到病灶，但利用RFB-SSD目标检测模型在外科切除标本中成功预测到病灶；而用RFB-SSD目标检测模型在外科切除标本中有16例未能定位到病灶，但利用EfficientNetB7模型在胃镜图像中均成功定位到病灶。由此可见，两种AI模型整合分析起到互补作用，可将胃肿瘤病灶定位准确性提高到100% (图5)。

图5

胃镜图像与同一病例的手术切除样本图像AI整合分析结果

结论

通过对不同的CNN 模型进行训练显示，EfficientNetB7模型在预测胃镜图像的胃癌与非胃癌、早期胃癌与非胃癌以及Hp感染与非Hp感染的二分类任务中表现良好。而InceptionV3模型通过胃镜图像可以成功地预测胃周淋巴结是否出现肿瘤转移。若将来自同一患者的术前胃镜图像及手术切除胃标本的大体图像采用EfficientNetB7模型和RFB-SSD目标检测模型整合分析，可实现优势互补。如果将AI辅助的多图源分析系统应用到临床诊疗常规，必将极大地减轻消化科医师与病理医师的工作负担，有助于早期胃癌的精准诊疗。

上海交通大学医学院附属瑞金医院博士研究生杨蕊馨、上海交通大学医学院附属瑞金医院古北分院住院医师张佳琳、上海师范大学信息与机电工程学院硕士研究生占丰生为该论文共同第一作者；上海交通大学医学院附属瑞金医院于颖彦教授、上海交通大学医学院附属瑞金医院消化内科主任医师孙菁为该论文共同通讯作者。

Cite this article as: Yang R, Zhang J, Zhan F, Yan C, Lu S, Zhu Z, An K, Sun J, Yu Y. Artificial intelligence efficiently predicts gastric lesions, Helicobacter pylori infection and lymph node metastasis upon endoscopic images. Chin J Cancer Res 2024;36(5):489-502. doi: 10.21147/j.issn.1000-9604.2024.05.03

于颖彦

上海交通大学医学院附属瑞金医院教授，博士生导师，上海消化外科研究所副所长，上海市胃肿瘤重点实验室副主任。任中国抗癌协会第六届胃癌专业委员会常委，中国医药生物技术协会生物样本库分会常委兼类器官工作组组长，上海市优秀学术带头人。聚焦胃癌的基础与临床转化研究，在AI辅助多图源医学影像诊断、肿瘤诊断标志物、肿瘤泛基因组和类器官等领域有多项成果。

孙菁

上海交通大学医学院附属瑞金医院消化内科主任医师，硕士生导师。2014年及2016年美国克利夫兰医学中心访问学者。任中华医学会消化病学分会胃肠激素及黏膜屏障学组委员，中华医学会消化分会炎症性肠病学组委员，上海市医学会消化学分会炎性肠病学组组长，上海市医学会内科专科分会青委会委员，《中华消化杂志》审稿专家、《中华炎性肠病杂志》编委，主持3项国家自然科学基金面上项目，发表多篇SCI论文。

（转自：生物谷）

海量资讯、精准解读，尽在新浪财经APP