Diabetes Care：新研究发现多种人工智能算法在检测糖尿病视网膜病变方面存在性能差异

2021年1月9日讯/生物谷BIOON/---糖尿病仍然是美国成人失明新病例的主要原因。糖尿病视网膜病变是导致视力下降的最常见的糖尿病相关眼病。但是，目前缺乏眼科保健提供者，这将不可能满足为这一人群提供必要的年度筛查的需求。一项新的研究考察了七种基于人工智能的筛查算法在诊断糖尿病视网膜病变（diabetic retinopathy）方面的有效性。相关研究结果于2021年1月5日在线发表在Diabetes Care期刊上，论文标题为“Multicenter, Head-to-Head, Real-World Validation Study of Seven Automated Artificial Intelligence Diabetic Retinopathy Screening Systems”。

图片来自Diabetes Care, 2021, doi:10.2337/dc20-1877。

在这项研究中，研究人员将这些算法与视网膜专家的诊断专业知识进行了比较。5家公司开发了这些测试算法：两家在美国（Eyenuk，Retina-AI Health），一家在中国（Airdoc），一家在葡萄牙（Retmarker）和一家在法国（OphtAI）。

这些研究人员将基于算法的技术部署在2006年至2018年期间在退伍军人事务普吉特海湾卫生保健系统（Veterans Affairs Puget Sound Health Care System）和亚特兰大退伍军人医疗保健系统（Atlanta VA Health Care System）寻求糖尿病视网膜病变筛查的近2.4万名退伍军人的视网膜图像上。

这些研究人员发现，这些算法的性能并不像它们声称的那样好。其中的多家公司在临床研究中报告了出色的结果。但是，它们在真实世界环境中的表现是未知的。他们进行了一项测试：每种算法的性能和在VA远距离视网膜筛查系统中工作的人类筛查员的表现都与专家眼科医生在查看相同图像时给出的诊断进行了比较。与医生的诊断相比，有三种算法表现相当好，一种算法表现较差。但在这项测试中，只有一种算法的表现与人类筛查人员一样好。

论文第一作者、华盛顿大学医学院眼科助理教授Aaron Lee说，“令人震惊的是，虽然这些算法在世界上的某些地方被使用，但是它们的表现并不一致。”

摄像设备和技术的不同可能是一种解释。这些研究人员表示，他们的试验表明，对于任何想要先使用人工智能筛选算法进行测试并遵循如何正确获取患者眼睛图像的指导原则的实践来说，这有多么重要，这是因为这些算法被设计为在最低质量的图像上工作。

这项研究还发现，在分析来自西雅图和亚特兰大保健系统的患者群体的图像时，这些算法的性能有所不同。这是一个令人惊讶的结果，这可能表明这些算法需要用更多类型的图像进行训练。（生物谷 Bioon.com）

参考资料：

1.Aaron Y. Lee et al. Multicenter, Head-to-Head, Real-World Validation Study of Seven Automated Artificial Intelligence Diabetic Retinopathy Screening Systems. Diabetes Care, 2021, doi:10.2337/dc20-1877.

2.AI algorithms detect diabetic eye disease inconsistently
https://newsroom.uw.edu/news/ai-technology-doesnt-reliably-detect-diabetic-eye-disease