of69
您的位置:首页 > 焦点 >

“AI问诊就是抛硬币”!甚至漏掉67%病患!--

来源:快科技 2023-01-20 09:25:22

人工智能的一些医疗决策实际上是抛硬币。

“AI问诊就是抛硬币”!甚至漏掉67%病患!--

哈佛医学院的数据科学家于坤兴语出惊人。

他补充道:

即使是竞赛中正确率90%的获胜模型,用原始数据集的子集进行测试,准确率最多也就60—70%,可谓惨败这让我们很惊讶

上述科学家的观点来自《自然》杂志最近发表的一篇文章。

内容对AI在医疗领域的可重复性提出质疑,并呈现了AI的黑箱属性在很多医疗领域和场景下带来的隐患。

更值得注意的是,尽管存在问题,但AI仍被广泛应用于医疗领域。

例如,数百家美国医院一直在使用一种AI模型来标记败血症的早期症状,但在2021年,该模型被发现未能识别的比例高达67%。

那么,AI带来的医疗隐患有哪些,如何解决。

继续往下看。

我们首先从哈佛医学院的数据科学家于坤兴那里发现了AI抛硬币谈论开始和结束

在医疗领域,利用AI对人体进行诊断和检测一直受到质疑,于坤兴也希望能有直观的身体感。

他选择了肺癌,一种常见的癌症每年有350万美国人死于这种疾病如果能早点通过CT扫描筛查,很多人就能避免死亡

这个领域确实引起了机器学习界的关注为此,2017年,业界还举办了肺癌筛查大赛

活动属于Kaggle的数据科学碗,主办方提供的数据涵盖了1397名患者的胸部CT扫描数据团队需要开发和测试算法,最终的比赛将根据准确性进行奖励在官方公布的名单中,至少有五个获奖模型的准确率超过了90%

但是,于坤兴重新测试了另一轮,并震惊地发现,即使使用原始游戏数据的子集,这些屡获殊荣的可是,模型的最高准确率已经下降到60—70%。

参赛者分享的模型结构

上述情况并非个例。

普林斯顿的博士生Sayash Kapoor在17个领域的329项研究中报告了可重复的失败和陷阱,医学也是其中之一。

基于这项研究,博士和他的教授还组织了一次研讨会,吸引了来自30个国家的600名研究人员参加。

研讨会上,有与会者指出了谷歌之前遇到的坑。

2008年,他们利用机器学习分析用户搜索产生的数据集,然后预测流感爆发谷歌也为此鼓吹了一波

但事实上,它未能预测到2013年的流感爆发一家独立研究机构指出,该模型已经关联并锁定了一些与流感疫情无关的季节性词汇2015年,谷歌停止公开这一趋势预测

Kapoor认为,在可重复性方面,AI模型背后的代码和数据集应该是可用的,并且没有错误研究新冠肺炎疫情模型的剑桥ML研究员补充说,数据隐私,伦理问题和监管障碍也是重复性问题的焦点

他们接着补充道,数据集是问题的根源之一目前公开可用的数据集比较匮乏,导致模型的判断有偏差例如,在特定的数据集中,医生给一个种族开的药比给另一个种族开的药多,这可能导致AI将疾病与种族联系起来,而不是疾病本身

另一个问题是在AI中训练彻底的现象由于数据集的缺乏,用于训练模型的数据集与测试集存在重叠,甚至有些当事人并不知道这种情况,这也可能导致对模型正确率的过度乐观

Sayash Kapoor博士

尽管存在问题,但AI模型已经应用到实际诊断场景中,甚至直接去了医院。

2021年,一个名为epic分离模型的医学诊断模型被曝出存在严重的漏检问题。

该模型用于败血症筛查,通过识别患者早期患病特征,可以避免这种全身性感染可是,密歇根大学医学院的研究人员对27697名患者的医疗状况进行了调查和分析,发现该模型未能识别67%的败血症患者

此后,该公司对该模型进行了重大调整。

一位计算生物学家指出,这个问题之所以难以解决,也与AI模型缺乏透明度有关我们在实践中部署了一个不可理解的算法,我们不知道它会带来什么偏见他补充道

揭露史诗般分离模型问题的文章

可以明确的是,只要上述问题没有解决,商业巨头和相关创业项目也在苦苦挣扎。mdash

去年,谷歌Google Health宣布其人员被拆分成各个团队日前,谷歌孵化的生命健康子公司Verily被曝裁员15%左右

有什么改进措施吗。

对于这种情况,一些研究人员和业内人士也在致力于改善医疗AI。

一方面是建立可靠的大数据集。

涵盖机构,国家和人口数据,对所有人开放。

其实这种数据库早就出现了,比如英国日本的国家生物银行,重症监护室远程监护系统eICU的合作数据库。

以eICU合作研究数据库为例,约有20万ICU入院相关数据,由飞利浦医疗集团和麻省理工学院计算生理学实验室共同提供。

为了使数据库的内容标准化,有必要建立收集数据的标准例如,关于医疗结果的伙伴关系的可观察数据模型允许医疗机构以同样的方式收集信息,这有利于加强医疗领域的机器学习研究

当然,同时也要注意严格保护患者隐私,只有患者本人同意,才有资格将其数据纳入数据库。

另一方面,如果想提高机器学习的质量,消除冗余数据也是有帮助的。

因为在机器学习中,冗余数据不仅会延长运行时间,消耗更多资源,也很可能造成模型过拟合mdash也就是说,经过训练的模型在训练集上表现良好,但在测试集上表现不佳

对于AI圈很流行的预测蛋白质结构,这个问题得到了有效的缓解在机器学习的过程中,科学家已经成功地从测试集中删除了蛋白质,这与训练集中使用的蛋白质太相似了

但是,病人之间医学数据的差异不像蛋白质结构的差异那样明显在一个数据库中,可能有许多人患有非常相似的疾病

所以我们需要弄清楚要把什么数据展现给算法,才能平衡数据的代表性和丰富性之间的关系。

哥本哈根大学转化疾病的系统生物学家Soren Brunak评论道。

此外,还可以请行业领导做一个清单,规范医疗AI领域的研发步骤。

那么,研究人员就可以更容易地搞清楚先做什么后做什么,有条不紊地操作,还可以检查一些可能遗漏的问题,比如某项研究是回顾性的还是前瞻性的,数据是否与模型的预期用途相匹配等等。

其实机器学习清单有很多种,大部分都是基于的赤道网络首先,这是一项国际倡议,旨在提高卫生研究的可靠性

此前,上文提到的普林斯顿大学卡普尔博士也和团队一起公布了一份21个问题的清单。

他们建议,对于一个预测模型,研究人员应该确认训练集中的数据早于测试集,这样才能保证两个数据集是独立的,不会出现数据重叠和交互。

相关信息两个老人家里堆满了废品,他们躺在走廊的地板上警惕:囤积癖是一种病一个外国小伙成了AI女朋友:不到一个月就迷上了艾偷偷写了70多个新闻故事:几个月后才发现一个女人穿着拖鞋打死了一只老鼠还好没被咬:比猫狗还可怕《流浪地球2》与人类股骨预告出炉:AI技术修复李声音支持悬赏

支持0个人

反对

报酬

商品价值评分

Fast technology 1997—2023保留所有权利。

豫ICP证号18024899 —2王证号41010502003949

相关文章
戴尔XPS13Plus日本发布:全新设计,可选i5-1240P/i7-1

戴尔XPS13Plus日本发布:全新设计,可选i5-1240P/i7-1

,据PCWatch报道,戴尔在日本发布了全新的XPS13Plus笔记本,但没有公布价格和出...更多

2022-04-19 16:27:00
全球芯片库存不断累积,业界解读出现分歧

全球芯片库存不断累积,业界解读出现分歧

据彭博社报道,全球主要芯片制造商产成品库存正加速累积,这一现象引发业界担忧。尽管几家受访企...更多

2022-04-19 16:10:00
德龙激光明日申购顶格申购需配市值6.50万元

德龙激光明日申购顶格申购需配市值6.50万元

德龙激光明日开启申购,公司本次发行前总股本为7752.00万股,本次拟公开发行股票2584...更多

2022-04-19 16:01:00
SA:2021年全球智能手机批发ASP突破300美元大关

SA:2021年全球智能手机批发ASP突破300美元大关

StrategyAnalytics的WSS服务最新研究指出,2022年全球智能手机批发收益...更多

2022-04-19 15:31:00
第九届“云鼎奖”申报启动,见证行业过往十年辉煌征程!

第九届“云鼎奖”申报启动,见证行业过往十年辉煌征程!

3月1日起,由第十届全球云计算大会middot;中国站主办方英富曼集团牵头组织的第九届ld...更多

2022-04-19 15:16:00
人民币兑日元逼近20大关上热搜:日元贬值势头依然强劲

人民币兑日元逼近20大关上热搜:日元贬值势头依然强劲

4月19日,日元兑人民币,一度低至0.0499!截至18日上午12时,日本东京外汇市场日元...更多

2022-04-19 14:41:00
中国移动Ⅰ类铅酸蓄电池产品公开集采:总规模约8.778亿Ah

中国移动Ⅰ类铅酸蓄电池产品公开集采:总规模约8.778亿Ah

据中国移动发布的集采公告显示,本期集中采购产品为2V、12VⅠ类铅酸蓄电池产品,预估采购规...更多

2022-04-19 12:58:00
CITE2022观众登记全面开启,享VIP观众只需一步!

CITE2022观众登记全面开启,享VIP观众只需一步!

乘风破浪,破局爆发2022年5月17日第十届中国电子信息博览会即将于深圳会展中心惊艳亮相1...更多

2022-04-19 12:53:00