随着人工智能(AI)在关键应用中的使用越来越多,例如诊断和治疗疾病,从业者和患者可以信任的医疗护理预测和结果将需要更可靠的深度学习模型。在最近的预印本(可通过康奈尔大学开放存取网站arXiv获得)中,劳伦斯利弗莫尔国家实验室(LLNL)计算机科学家领导的团队提出了一种新颖的深度学习方法,旨在提高分类器模型的可靠性。该模型旨在从诊断中预测疾病类型图像,其附加目标是使医学专家能够在不牺牲准确性的情况下解释它们。这种方法使用了一种称为置信度校准的概念,可以系统地调整模型的预测,以满足人类专家在现实世界中的预期。
首席作者、LLNL计算科学家杰伊蒂亚加拉詹(Jay Thiagarajan)解释说:“可靠性是一个重要的标准,因为AI在高风险应用中越来越普遍,当问题发生时,它会产生真正的不良后果。”“你需要系统地解释这个模型在实际环境中的可靠性,然后应用到其中。如果像改变整体多样性这样简单的事情会破坏你的系统,你需要知道这一点,而不是部署它,然后发现它。”
在实践中,量化机器学习模型的可靠性具有挑战性,因此研究人员引入了“可靠性图”,在推理循环中包含专家,以揭示模型自治性和准确性之间的权衡。Thiagarajan解释说,当置信度较低时,可以通过允许模型推迟预测来整体评估模型的可靠性。
在这篇论文中,研究人员考虑了用于皮肤癌筛查的病变皮肤镜图像——每张图像都与特定的疾病状态相关:黑色素瘤、黑色素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管病变。使用常规指标和可靠性图表,研究人员表明,与现有的深度学习解决方案相比,校准驱动的学习可以产生更准确、更可靠的检测器。在这个具有挑战性的基准测试中,它们的准确率达到了80%,而标准神经网络的准确率为74%。
然而,比提高准确性更重要的是,预测校准提供了一种全新的方式来建立科学问题中的可解释工具,Thiagarajan说。该团队开发了一种内省方法,用户输入一个关于患者的假设(例如某种疾病的发作),模型返回最大程度匹配该假设的反事实证据。使用这种“假设分析”,他们可以识别不同类型数据之间的复杂关系,并阐明模型的优点和缺点。
蒂亚詹说,“我们正在探索如何制造一种可能支持更复杂推理或推理的工具。”这些人工智能模型通过将你的假设置于预测空间,系统地提供了一种获得新见解的方法。问题是,“如果你已经被诊断为甲病和乙病,图像应该如何显示?”我们的方法可以为这一假设提供最合理或最有意义的证据。我们甚至可以得到病人从A状态到B状态的连续转变,专家或医生定义这些状态是什么。"
最近,Thiagarajan使用这些方法研究了被诊断为新型冠状病毒患者的胸部x光图像。为了了解人口统计、吸烟习惯和医疗干预等因素对健康的影响,Thiagarajan解释说,AI模型必须分析的数据量远远超过人类可以处理的数据,医疗专业人员必须解释结果才是有用的。他说,可解释和自省的技术不仅会使模型更加强大,还会提供一种全新的方式来创建医疗保健应用的模型,从而使医生能够形成关于疾病的新假设,并帮助决策者做出影响公共健康的决定。如正在进行的疫情。
“人们希望将这些人工智能模型整合到科学发现中,”Thiagarajan说。“当出现像COVID这样的新感染时,医生们正在寻找证据,以更多地了解这种新病毒。系统的科学研究总是有用的,但我们产生的数据驱动方法可以大大补充专家可以用来了解这些疾病的分析。机器学习不仅可以进行预测,还可以被应用,这个工具以非常聪明的方式实现了这个目标。”
Jagarajan开始这项工作的部分原因是为了找到一种新的不确定性量化技术(UQ),该技术由能源部高级科学计算研究计划资助。与LLNL的团队成员一起,他已经开始在许多科学应用中利用UQ集成人工智能模型,最近与加州大学旧金山分校医学院合作研究临床问题中的下一代人工智能。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 puzdycom@126.com 举报,一经查实,本站将立刻删除。