Nature子刊：腾讯AI Lab发布scBERT模型，攻克单细胞测序数据分析痛点

2022年9月27日，腾讯 AI Lab 姚建华等人在在 Nature 子刊 Nature Machine Intelligence 上发表了题为：scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data（基于大规模预训练语言模型的单细胞转录组细胞类型注释算法）的研究论文。

该研究创新性地提出关于单细胞注释的 scBERT 算法模型，实现了高解释性、高泛化性、高稳定性的单细胞类型注释技术。这项研究成果对于单细胞转录组测序数据分析领域未来研究具有深远意义。

Nature Machine Intelligence 是计算机科学、人工智能领域期刊中影响因子最高的顶级期刊（IF=25.898），只关注对该领域具有重要影响的科研成果。因其严格的评审标准，每年收录论文数量平均仅60篇左右。

该论文首次提出「基于大规模预训练语言模型的单细胞转录组细胞类型注释算法」，即「scBERT」模型，首次将「transformer」（自然语言处理算法经典计算单元）运用到单细胞转录组测序数据分析领域。该模型基于BERT范式，将细胞中基因的表达信息转化成可被计算机理解、学习的「语言」，并对细胞进行精准标注。

为了保证全基因组内基因级别的可解释性，「scBERT」在预训练数据上没有做任何的降维或筛选处理，最大程度上保留数据本身的特性和信息。此外，该模型复用了大规模的公开数据集，包含不同实验来源、批次和组织类型的单细胞数据，以保证模型能学习到更为「通用」的知识，精准捕获单个基因的表达信息及两两基因之间的作用关系。

从结果上来看，「scBERT」模型实现了高解释性、高泛化性、高稳定性的单细胞类型注释技术。截至目前，通过了9个独立数据集、超过50万个细胞、覆盖17种主要人体器官和主流测序技术组成的大规模benchmarking测试数据集上，该算法模型的优越性均得以验证。其中，在极具挑战的外周血细胞亚型细分任务上，相较现有最优方法的70%准确度提升了7%。

在应用价值层面，该项技术能给细胞中的每个基因都印上专属「身份证」，可用于临床单细胞测序数据，并辅助医生描述准确的肿瘤微环境、检测出微量癌细胞，从而实现个性化治疗方案或者癌症早筛。同时，对疾病致病机制分析、耐药性、药物靶点发现、预后分析、免疫疗法设计等领域都具有极其重要的作用。

腾讯 AI Lab 是腾讯的企业级 AI 实验室，于2016年4月在深圳成立。实验室强调研究与应用并重发展。基础研究关注机器学习、计算机视觉、语音技术及自然语言处理等四大方向；技术应用聚焦在游戏、数字人、内容、社交四大领域，并初探 AI 在工业、农业、医疗、医药、生命科学等领域的研究应用。

此前，腾讯 AI Lab 团队科研成果曾多次登上 Nature Communications、ACL-IJCNLP 等国际权威学术期刊。未来，腾讯会继续基于自身先进 AI 技术的积累，与下游临床、制药和生命科学基础研究领域进行密切合作，为行业贡献更多价值。