机器学习又一完美应用领域！谢阳-肖光华团队16+分Nature子刊！深度学习+图像识别，开

临床上利用病理组织的切片或扫描图像对病患进行诊断和预后已经屡见不鲜，也确实对治疗方案的选用和药物使用有很大的帮助，结合当下生信分析相当火爆的机器学习，可谓是如虎添翼呀~~利用机器学习开发各类疾病的预后模型发文章可是很受用的哦，不过在图像识别这方面还是有一定门槛的。小云发现了一篇Nature子刊，立足于细胞空间组织，结合图卷积网络等人工智能手段，以癌症的微观视角实现临床上对患者的诊断和预测，展现了肖光华教授的团队开发出的Ceograph的神奇之处。这样的好宝贝用来当24年的科研大礼包真是太合适啦：1.相较于未处理的组织图像，作者开发的Ceograph基于数字染色模型定位细胞核并加以区分，将类似于“投影”的组织图像转换为类似于“模型”的细胞空间图，并进一步评估细胞-细胞空间相互作用的特征。更是添加了细胞空间相互作用条件图卷积CSIGC层，以联系细胞核形态和细胞空间相互作用。2.作者没有局限于一种癌症，而是在肺癌ADC、SSC两种亚型，以及口腔鳞状细胞癌进行独立的训练和验证，证明了Ceograph的实用性。    3.作者在细胞水平对肿瘤的分类、细胞的恶性转化风险等分别进行热图可视化，在算法机制、肿瘤恶化、临床治疗效果预测，突出Ceograph的广泛用途和准确结果。小云可是为大家介绍了不少新的上分宝藏！还在担心自己的文章被拒嘛？文献里有了新的算法或工具可要充分利用起来呀！想要了解机器学习的流程步骤，或是想用更新的分析算法工具提升文章level，快来和小云聊聊，小云一定有问必答哦！~

题目：细胞空间组织的深度学习识别组织图像中临床相关的见解杂志：Nature Communications影响因子：IF=16.6发表时间：2023年12月

云生信学生物信息学，将在01月30日 15:00 直播预约跟着Nature Genetics 学画图：R语言ggplot2画箱线图(boxplot)视频号研究背景细胞空间组织是指组织内细胞的排列、分布和相互作用，提供了对疾病状态的关键见解。检查肿瘤组织及其周围微环境中多种细胞类型的空间组织，对于理解这些细胞如何组装和相互作用以产生不同的功能结果至关重要。许多研究主要集中在两个细胞之间的空间距离上，可能忽略了细胞空间结构更复杂的方面。此外图卷积网络(GCN) SpaGCN整合了基因表达、空间位置和组织学，以识别空间分子谱数据中的空间域和空间可变基因。   成像技术进步使组织载玻片的全玻片图像(WSI)扫描可产生大量高分辨率数字图像。数字病理学中深度学习算法的最新发展已经能够自动识别和分类来自WSIs的数百万个细胞。卷积神经网络(CNN)已被开发用于基于WSIs的肿瘤检测、亚型分类和突变状态预测。然而现有基于图像的CNNs并没有专门关注细胞的空间组织特征，因此解释图像特征和识别预测患者临床结果的细胞-细胞相互作用变得困难。同时传统深度学习模型的数学输出需要被转换为可以理解的诊断或预后模型。        数据来源数据集详细信息数据形式NLST国家肺部筛查实验中患者的病理图像患者的病理组织切片图像及临床信息TCGA-LUADTCGA中肺腺癌病理图像LCMC来自肺癌突变联盟的患者数据（受控访问）OPMD口腔鳞状细胞癌患者病理图像及临床信息（受控访问）

 研究思路作者开发出一个基于细胞空间组织的GCN，专门用于处理组织图像中的细胞空间相互作用信息。Ceograph利用图形模型来表示细胞的空间组织，并结合了与细胞核形态和分布相关的特征。Ceograph方法模拟了人类大脑的认知过程，首先识别细胞类型，然后考虑细胞-细胞空间相互作用，最后解释细胞空间组织，同时排除潜在的噪声。通过评估单个细胞形态与诊断和临床结果的相互作用之间的关系，Ceograph突出了与潜在生物学意义相关的图像特征。在三个关键应用中进行了探讨该方法的多功能性：(1)肺癌亚型分类，(2)评估口腔潜在恶性疾病(OPMD)患者的恶性转化风险，以及(3)预测肺癌的治疗反应。Ceograph形的独特优势在于其潜在的可解释性。在患有口腔潜在恶性疾病的患者中，模型强调结构一致性降低和上皮基质紧密性增加是恶性转化风险增加的驱动特征。在肺癌患者中，Ceograph检测到肿瘤细胞核延长和间质紧密度降低，作为对EGFR酪氨酸激酶抑制剂不敏感的生物标志物。最后对于肺癌的治疗反应，了解细胞特征，如肿瘤细胞核形态和间质相互作用可以提供治疗敏感性的见解。      主要结果

1.  基于细胞空间组织的组织图像分析管道

作者采用基于组织学的数字染色模型来定位、分割和分类组织图像斑块内的每个细胞核，并提取了定义良好的核形态特征。将组织图像转换为细胞空间图，其中每个细胞的细胞核位置，细胞类型和形态可直接用于深度学习架构。单个细胞-细胞空间相互作用的特征被评估为相互作用类型(一对细胞核的类型)、结构一致性(一对细胞核之间的平行度)和相互作用强度(细胞核的空间亲密度)，这些信息作为输入的Ceograph(图1a)。对于特定的组织图像，应用Ceograph方法的步骤如下：(1)从感兴趣区域中随机抽取一组图像补丁，可由病理学家手动注释或算法自动确定；(2)对每个图像patch内的每个核进行分割和表征，本研究采用数字-染色算法进行细胞核检测和分类；(3)构造细胞空间图来表示每张图像中细胞的空间组织；（4）最后通过三个细胞空间相互作用条件图卷积（CSIGC）层和另一个肿瘤细胞特异性池化层结合细胞空间组织信息来训练Ceograph模型（图1b）。然后该模型用于预测每个图的类别。   Ceograph模型设计了一个CSIGC层，通过将细胞核形态特征与其空间相互作用结合起来，将细胞的空间组织结合起来(表1和图1c)。此外，CSIGC层整合了来自相邻细胞核的信息，同时保留了细胞间的连接结构，这允许在池化层中关注感兴趣的核(如肿瘤核)，并有助于Ceograph的可解释性。

    图1  说明使用Ceograph进行病理图像分类

表1  细胞空间交互条件图卷积层算法          

2.   在测试和独立的外部验证数据集中，Ceograph准确地分类病理亚型

作者评估Ceograph在肺ADC与SCC病理图像的分类任务中，相比传统基于图像的深度学习模型的性能。对每个肺癌WSI从病理学注释的肿瘤区域随机抽取1024×1024像素的图像斑块(0.25μm/像素)。使用TCGA肺癌数据集创建了训练、验证和测试集，每个补丁至少有20个肿瘤细胞。用国家肺筛查试验(NLST)数据集作为外部验证队列。首先使用数字染色对每个图像斑块进行分割并分类六种核类型：肿瘤核、间质核、淋巴细胞核、红细胞核、巨噬细胞核和核裂，然后获得细胞空间图，并训练一个Ceograph模型来预测TCGA训练集中的肺癌亚型。在TCGA测试数据集中，patch水平准确率达到94.5%；slide水平准确率达到100%。在NLST外部验证数据集中，patch水平准确率为93.2%，而slide水平准确率为99.0%（图2a、b）。在肺癌病理亚型分类任务中，Ceograph优于其他基于CNN的深度学习模型和传统的基于特征的机器学习方法（表2）。在完全相同的图像块上作者另外训练了一个ResNet101架构的CNN模型和一个逻辑回归模型(表2)。ResNet101的表现与之前的报告相似。使用图像特征的的逻辑回归模型也达到了基于CNN的深度学习模型相当的性能。Ceograph的优越性能表明，细胞空间图中使用的细胞组织信息对提高肿瘤亚型分类精度至关重要(表2)。   

    图2   Ceograph在肺组织分型中的应用

表2  不同肺ADC与SCC分类模型的性能比较          

3.  了解Ceograph的预测机制

Ceograph使用图形结构，将每个细胞核建模为顶点，将一对相邻细胞核建模为边缘。然后通过在神经网络中使用CSIGC层来总结这些顶点和边缘的贡献。通过建模图像衍生的特征，作者将Ceograph对ADC/ SCC的分类在细胞水平可视化。计算每个细胞对ADC/SCC分类的贡献（图2c, d）。细胞水平贡献热图有效地突出了ADC和SCC的典型细胞组织模式。作者分析了不同单元分布特征的影响，将每个特征对ADC vs. SCC的最终分类的贡献可视化。作者将每个特征对ADC与SCC肿瘤的最终分类的贡献可视化，并发现图中肿瘤细胞的离心率和坚固性的较高值（图3a、b），这增加了区域被分类为SCC的可能性。作者还观察到其他细胞类型的贡献相当低(图3c)。此外细胞-细胞空间相互作用特征，如核平行度(图3d)和核紧密度，对于预测病理亚型至关重要。而且肿瘤细胞之间的空间相互作用比其他细胞类型之间的相互作用更显著(图3c)。这些结果与病理观察相一致， SCC肿瘤细胞比ADC具有更结构化的结构和细长的细胞核形状，证实了Ceograph的可解释性。    

    图3  Ceograph工作机制的可视化          

4.   Ceograph预测OPMD恶性转化的风险

OPMD是一组有进展为口腔鳞状细胞癌风险的口腔黏膜疾病，白斑是一种常见的OPMD类型。作者用Ceograph来预测OPMD患者皮肤组织恶性转化的风险(图4a)。利用皮肤组织中角质层、基底层、其他层和非上皮层四种主要核类型的形态特征和空间组织。使用OPMD1数据集训练了一个基于Ceograph的OPMD恶性转化风险预测模型，区分高风险和低风险组。在OPMD2独立测试集中，预测的高风险组到恶性转化的时间显著缩短(图4b)。Ceograph模型的预测风险评分（高风险病例的概率）与24个月内和50个月内发生癌症（图4c）相关。综上表明，Ceograph可通过识别发展为癌症的高风险和低风险OPMD组织之间的细胞空间组织差异来识别癌症风险较高的OPMD患者。作者将细胞水平特征对Ceograph恶性转化风险评估的贡献可视化(图4d)，进一步将Ceograph学到的信息转化为病理知识。低风险(图4d，上面板)和高风险(图4d，下面板)患者的特征贡献在图中是一致的。基底层核面积越大，恶性转化的风险越大。作者可视化了边缘特征的贡献(图4d)并进行了总结。在基底层以外的上皮层中，平行度降低和紧密度增加与高风险相关，这与上皮发育不良中细胞结构破坏的病理观察结果一致。作者的对比研究证实，高危组上皮层平行性降低，其他层的核平行性在高危组和低危组之间的差异最为显著。综上，Ceograph能够准确、可解释地捕捉到各种上皮层的形态和结构特征。    

    图4   Ceograph在恶性肿瘤危险分层中的预后价值

5.   Ceograph预测EGFR TKI Ttx反应

虽然表皮生长因子受体(EGFR)酪氨酸激酶抑制剂(TKI)靶向治疗(Ttx)被认为是转移性肺癌EGFR突变患者的一线治疗方法，但只有60%-80%的EGFR敏感突变患者对这种治疗有反应。作者使用治疗前的组织病理切片评估Ceograph在预测EGFR-TKI-Ttx反应方面的价值（图5a）。应用Ceograph对肺癌突变联盟1 (LCMC1)数据集做训练，其中所有EGFR突变患者都接受了EGFR TKI Ttx治疗，预测每个输入细胞空间图的受益评分。总生存期(OS)>中位OS时间(31.2个月)的患者被标记为受益；否则标记为无获益。之后将预测Ceograph应用于LCMC2队列中的EGFR突变患者。首先在接受EGFR-TKI-Ttx治疗的患者中证实了预测受益评分的预后价值，受益组的OS明显好于非受益组（图5b）。在预测的受益组中，未接受EGFR TKI Ttx治疗的患者的OS明显差于接受EGFR TKI Ttx治疗的患者(图5b)。而在预测的非受益组中，Ttx治疗组和未治疗组之间的生存期无显著差异(图5b)。调整了潜在的临床混杂因素后，Ceograph计算的高受益评分仍然可以预测接受EGFR-TKI-Ttx的EGFR突变患者的OS延长（图5c）。   为了解细胞空间组织特征与对EGFR TKI Ttx的敏感性之间的关系，量化了图特征的贡献，正值表示对非受益组的贡献(图5d)。观察到增加的肿瘤细胞偏心率通常会导致更高的可能性被预测为不受益于EGFR TKI Ttx，表明肿瘤细胞核的细长形态与上皮间充质转化(EMT)过程之间存在联系。此外基质间亲近度的降低通常与EGFR TKI Ttx不获益的可能性增加相关。间质紧密度的降低可能表明随着细胞大小的增加，癌相关成纤维细胞(CAFs)被激活，这与肿瘤进展和预后不良有关，意味着CAF活化在EGFR TKI耐药中有额外的作用。

    图5  GCN在EGFR TKI靶治疗(Ttx)反应预测中的预测价值文章小结基于图像识别的机器学习可是非常值得大家学习的，这篇文献的Ceograph，在设计上着眼于细胞内的空间组织结构和细胞-细胞相互作用，技术上搭配了图卷积网络这种神经网络的深度学习技术，两者双剑合璧，焉有不胜之理呀。小云这就赶紧去下载代码试上一试！搞不清公共数据做训练和验证的步骤？还是对生信工具有选择困难症？不要慌张，小云一定帮你有的放矢！