medRxiv· Dayma, K., Newton, C., Kawzowicz, M., Patel, P., Curl, R., Ogden, K. ·· 7 天前精选AI 评分69
六中心预印本研究显示 FDA 认证肺栓塞 AI 分诊工具灵敏度为 64.1%
Silent Drift and Site-level Variance in Clinical AI: Real-world performance and subgroup analysis for post-market monitoring of an FDA-cleared artificial intelligence (AI) triage tool for high-risk use case of pulmonary embolism
AI 导读
六中心回顾性预印本研究评估 FDA 认证的 Aidoc BriefCase PE 分诊模型,在 14,736 例 CTPA 检查中灵敏度为 64.1%,低于 FDA 510(k) 摘要的 93%。
- 背景
- 肺栓塞的CT肺动脉造影(CTPA)检查量大,而分诊工具的价值在于把可疑阳性更早推到阅片队列前面,漏掉一例的代价落在高危场景上。FDA已清关的AI分诊工具因此被广泛部署,但清关时的性能承诺来自上市前数据:本研究所针对的Aidoc BriefCase PE分诊模型(K190072)在FDA 510(k)摘要中报告敏感度93%、特异度93.7%。清关之后的真实表现是否按人群亚组、按临床站点、随时间保持稳定,此前没有分析。作者把这个问题落在上市后监测的空白上——部署后的性能若无人独立复核,清关数字就会一直被当作现行水平引用。
- 做法
- 这是一项回顾性、六站点健康系统的研究,评估对象为Aidoc BriefCase PE分诊模型(K190072),覆盖2023年7月至2026年3月间的14,736例CTPA检查。参考标准不靠逐例重新阅片,而是用零样本LLM流水线从放射报告中抽取肺栓塞特征标签,该流水线先在600份由放射科医师标注的报告上做过验证,κ=0.98。性能评估分三个维度展开:人口学特征、栓子特征与站点。栓子特征至少包含位置(中央、肺叶或段、亚段)与病程(急性、慢性),站点维度则比较各中心之间的敏感度差异,并追查站点间存在差异的变量。时间行为不是在单一时间点上取数,而是把工作点作为因变量做逻辑回归,分别在有站点校正与无站点校正两种设定下拟合,另加分段回归,用来捕捉性能随时间的渐变而非一次性跳变。厂商侧作为对照信息被记录:研究期间是否报告过模型更新或阈值变更。
- 结论
- 14,736例检查中有1,402例存在肺栓塞,占9.5%。整体敏感度64.1%(95% CI,61.5-66.6%),特异度98.8%(95% CI,98.6-99.0%),对照FDA 510(k)摘要的93%敏感度与93.7%特异度,部署后的敏感度明显低于清关基准,特异度则高于基准。敏感度随栓子位置外移而单调下降:中央型88.6%,肺叶或段型63.1%,亚段型33.3%;按病程分,急性65.5%,慢性57.4%。两个体量最大的站点之间敏感度差异显著,分别为68.7%与55.7%(P < .001),相差13个百分点,而CT扫描仪是这两个站点之间唯一不同的变量。时间维度上,假阳性率每年下降40%(P<.001),两个站点的下降速率相近;站点A的敏感度每年下降15%(P<.036),研究前后两半从72.5%降到65.0%。厂商在研究期间未报告模型更新或阈值变更。
- 机制
- 对时间趋势,作者给出的解释是工作点在高特异度方向上的逐渐偏移,代价是敏感度下滑;这种偏移要么来自数据漂移,要么来自阈值改变,而厂商既未监测也未记录变更,因此两者在现有数据上无法区分。站点差异方面,作者报告CT扫描仪是两个高体量站点之间唯一不同的变量,但摘要没有进一步把站点间的13个百分点差异归因于机型、重建参数或扫描协议中的某一项。也就是说,时间维度上的成因是二选一且未被判别,空间维度上的成因是相关变量被定位但未做因果验证。
- 意义
- 结果把两件事同时摆到台面上:一是部署后的敏感度可以远低于清关数字,清关摘要不宜直接当作真实世界性能的上限参考;二是性能不均匀,亚段栓塞的敏感度只有33.3%,恰恰是最难被肉眼先发现、最需要分诊兜底的那一类,而站点之间13个百分点的落差说明单中心评估不能外推到同一系统的其他院区。作者由此主张,对这类高危用途的分诊工具,需要独立于厂商的、连续的上市后监测,而不是依赖一次性的清关数据或厂商自述。
- 局限
- 参考标准由零样本LLM从放射报告中抽取,而非逐例重新判读影像,其可靠性以600份医师标注报告上的κ=0.98为支撑。研究范围限于一个健康系统的六个站点,评估对象是单一厂商的单一模型;厂商未记录或未报告变更,使得数据漂移与阈值改变这两种解释无法拆开。
- 下一步
- 摘要未列出具体的后续实验。留下的开放问题是这套「高特异度换低敏感度」的漂移究竟源自数据分布变化还是阈值改动——要分辨它,需要厂商侧的变更记录与独立监测数据对齐,而这也正是作者主张建立连续上市后监测的直接理由。
本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文
推荐理由
六中心真实世界数据表明该肺栓塞分诊工具灵敏度低于 FDA 认证值且随中心波动,可供临床 AI 上市后监测借鉴。
来源:medRxiv · medrxiv.org