登Nature子刊，哈佛医学院发布迄今最大计算病理学基础模型，适用30+临床需求

编辑 | X

基础模型有望为医学领域带来前所未有的进步。

在计算病理学 (CPath) 中，基础模型在提高诊断准确性、预后以及预测治疗反应方面发挥着关键作用。

美国麻省总医院和哈佛医学院联合研究团队最近设计了两个名为UNI和CONCH的CPath基础模型，这是迄今为止规模最大的。这些模型覆盖了30多种临床和诊断需求，包括疾病检测、诊断、器官移植评估和罕见疾病分析。这一研究成果有望为医学领域带来新的突破和进展。

新模型不仅在研究人员测试的临床任务中表现出色，而且在识别新的、罕见的和具有挑战性的疾病方面也显示出了潜力。UNI 和 CONCH 的相关研究成果发表在《Nature Medicine》杂志上。这些成果表明，这两个模型克服了当前模型的局限性，为未来的医疗诊断和治疗带来了新的可能性。这标志着对医学领域的巨大进步，为更准确、更高效地处理各种疾病提供了新的工具和方法。这项研究的成功为医学界带来了希望，未来有

UNI：理解病理学图像的基础模型

对于计算病理学任务来说，对组织图像进行定量评估至关重要，这需要对全玻片图像（WSI）中的组织病理学结构进行客观描述。WSI 具有高分辨率和形态特征的多样性，这给大规模数据标注的高性能应用带来了挑战。

为了解决这一挑战，目前的研究已经提出了利用自然图像数据集进行迁移学习，或者通过对公开的组织病理学数据集进行自监督学习，以利用预训练的图像编码器。然而，对于不同类型的组织，在大规模范围内广泛开发和评估这些方法仍然具有挑战性。

为了提高病理学图像的识别和理解能力，该研究团队开发了一种名为UNI的通用病理学自监督模型。UNI模型作为病理学图像的基础模型，能够识别组织学感兴趣区域中的疾病，并实现十亿像素全幻灯片成像。该模型利用包含超过1亿个组织斑块和超过100,000张WSI的数据库进行训练，具有在解剖病理学领域通用的人工智能应用价值。这一创新有望为病理学领域带来更深入和准确的研究成果，为医学诊断和治疗提供更精确的支持。

图示：UNI 概述。（来源：论文）

该模型在 34 个具有不同诊断难度的代表性 CPath 任务上进行了评估。除了超越以前最先进的模型之外，还展示了 CPath 中的新建模功能，例如与分辨率无关的组织分类，使用少量类别原型的幻灯片分类，以及在 OncoTree 分类系统中对多达 108 种癌症进行分类的疾病亚型概括。

UNI 在预训练数据和下游评估方面在 CPath 中大规模推进无监督表示学习，从而实现数据高效的人工智能模型，该模型可以泛化并转移到解剖病理学中广泛的诊断挑战性任务和临床工作流程。

相关研究以《Towards a general-purpose foundation model for computational pathology》为题，于 2024 年 3 月 19 日发布在《Nature Medicine》上。

开源地址：https://github.com/mahmoodlab/UNI

论文链接：https://www.nature.com/articles/s41591-024-02857-3

CONCH：计算病理学的视觉语言基础模型

数字病理学的广泛应用和深度学习技术的进步，已经为各类疾病和患者群体中的多种病理任务开发出强大模型提供了可能。

然而，由于医学领域标签稀缺，模型训练通常很困难，并且模型的使用受到训练的特定任务和疾病的限制。此外，大多数组织病理学模型仅利用图像数据，这与人类相互教导和推理组织病理学实体的方式形成鲜明对比。

基于此，该研究团队提出了一种视觉语言基础模型 CONCH，CONCH 经过超过 117 万个组织病理学图像-文本对的数据库的训练。

CONCH 在识别罕见疾病、肿瘤分割和理解十亿像素图像等任务方面表现出色。由于 CONCH 接受了文本训练，病理学家可以与模型交互以搜索感兴趣的形态。

图示：数据整理和 CONCH 模型示意图。（来源：论文）

CONCH 根据一套 14 个不同的基准进行评估，可以转移到涉及组织病理学图像、文本的广泛下游任务，在组织病理学图像分类、分割、字幕、文本到图像和图像到文本检索方面实现最先进的性能。

CONCH 代表了组织病理学并发视觉语言预训练系统的重大飞跃，有可能直接促进各种基于机器学习的工作流程，只需要很少或不需要进一步的监督微调。

相关研究以《A visual-language foundation model for computational pathology》为题，于 3 月 19 日发布在《Nature Medicine》上。

开源地址：https://github.com/mahmoodlab/CONCH

论文链接：https://www.nature.com/articles/s41591-024-02856-4

研究团队正在向其他学术团体公开该代码，以用于解决临床相关问题。

麻省总医院病理科计算病理学部的通讯作者 Faisal Mahmood 博士说，「基础模型代表了医学人工智能的新范式，这些模型是 AI 系统，可以适应许多下游、临床相关的任务。我们希望这些研究中提出的概念验证将为此类自监督模型在更大、更多样化的数据集上进行训练奠定基础。」

参考内容：https://medicalxpress.com/news/2024-03-ai-foundation-advance-pathology.html