科研人员人工智能细胞大模型

近年来，人工智能领域在大模型方面取得了显著进展，这些模型通过预训练的方式从大规模、多来源的数据中提取深层次规律，进而能够作为“基础模型”服务领域的多样化任务。例如，语言大模型通过学习大量文本数据，掌握了理解和识别语言的能力，引领了自然语言处理领域的新一轮革命。类似地，生命科学中的细胞的DNA序列、基因表达等属性也可以被视为一种细胞“语言”，如果能够基于这种细胞“语言”开发人工智能细胞大模型，将有望为生命科学和医学研究提供全新研究范式和革命性研究工具。

清华大学自动化系生命基础模型实验室主任张学工教授、电子系/AIR马剑竹教授和百图生科宋乐博士合作，建立了一个名为scFoundation的细胞大模型。该模型基于5000万个细胞的基因表达数据进行训练，拥有1亿参数，能够同时处理约20000个基因。作为基础模型，它在“虚拟药物试验”等多种生物医学下游任务中表现出卓越的性能提升，提供了人工智能在单细胞研究中的新范式（图1）。研究成果于2023年5月完成，2024年6月6日以“单细胞转录组大规模基础模型”（Large-scale foundation model on single-cell transcriptomics）为题，发表于《自然·方法》（Nature Methods）上。

图1.scFoundation模型及下游应用场景

细胞“语言”与自然语言不同，存在着特征高维度、取值连续且稀疏等难点。为此，研究团队针对性设计模型架构，使scFoundation的值编码模块可直接将连续的基因表达值转化为向量，并通过设计一个基于Transformer的非对称模型架构，在保持参数规模不变的同时幅提高了计算效率。此外，考虑到单细胞数据质量存在明显差异的特点，研究团队还设计了一种由低质量数据恢复高质量数据的预训练任务，进一步增强了预训练模型对不同来源下游数据的适应能力。

在实际应用中，scFoundation模型支持“开箱即用”和“微调”两种模式。在“开箱即用”模式下，得益于其独特的预训练任务，该模型能直接用于提升细胞数据的质量，在不需要进一步调整的情况下便可达到或超越现有方法的效果。此外，用户可以利用scFoundation提取细胞的预训练表征，该表征可以用于识别细胞类型特异基因模块和转录因子，并可广泛应用于“虚拟药物试验”等下游任务中。实验测试结果表明，利用scFoundation模型可以显著提升细胞癌症药物反应、细胞扰动实验等任务的性能。在“微调”模式下，scFoundation在细胞类型标注等任务上的表现远超传统方法。研究团队通过多项实验分析了模型中不同模块设计对性能的具体影响，相关模型细节已在NeurIPS2024的xTrimoGene模型文章中发表。目前模型权重及代码已开源，同时也提供了模型API供在线轻量使用。

综上所述，scFoundation模型为生命科学基础研究、细胞扰动响应预测、药物靶点发现等领域提供了创新方法工具，并在模型架构、训练框架和下游示范应用体系等方面为细胞大模型研究提供了新的思路和方法，成功地拓展了单细胞领域基础模型的边界，为开展数基空间中的虚拟药物实验等未来研究奠定了基础。

张学工、马剑竹、宋乐为论文通讯作者。清华大学自动化系2021级博士生郝敏升为论文第一作者。