BBC 关于使用人工智能获取医疗建议的危险性的报道显示，为什么有说服力的语言在医疗环境中可能具有风险。一个系统听起来可能稳重且自信，但仍可能提供不完整、优先级差或对面前患者错误的建议。

这就是为什么证据、验证和背景比流畅性更重要。在医学中，只有当底层的判断始终安全时，一个有用的界面才有价值。

耶鲁大学公共卫生学院的最新研究揭示了人工智能医疗建议质量中令人担忧的模式。在分析领先的人工智能聊天机器人对 1,000 个临床场景的反应的一项综合研究中，研究人员发现 27% 的建议包含潜在有害的不准确之处，而 42% 遗漏了关键的安全警告。该研究强调了人工智能系统往往如何将语言连贯性置于临床准确性之上，从而创造了一种危险的胜任力假象。

监管框架正努力跟上人工智能发展的步伐。截至 2025 年，FDA 的“软件即医疗设备 (SaMD)”途径仅批准了 692 个支持人工智能/机器学习的设备，占目前医疗机构部署的人工智能工具的不到 3%。这种监管差距使患者容易受到缺乏适当临床证据的未经验证系统的影响，尤其是在慢性病管理和心理健康支持等高风险领域。

临床验证要求必须超越传统的软件测试方法。当前的方法往往无法解释人工智能的独特特征，包括数据漂移、算法偏差和突发行为。欧盟的《人工智能法案》为医疗人工智能建立了分层风险类别，要求对高风险应用进行严格的临床性能测试。然而，实施时间表延长至 2027 年，造成了监管不确定的过渡期。

数据质量是医疗人工智能验证面临的一个基本挑战。训练数据集经常受到选择偏倚、文档不完整和多样化患者群体代表性不足的影响。2025 年发表在《柳叶刀数字健康》上的一项荟萃分析发现，78% 的医疗人工智能研究使用了人口统计学显著失衡的数据集，在实际环境中部署时可能会加剧医疗差异。

人工智能医疗工具的上市后监管机制仍不完善。与具有稳定性能特征的传统医疗设备不同，人工智能系统可以通过持续学习或数据漂移产生不可预测的演变。FDA 提议的“全产品生命周期 (TPLC)”方法旨在通过持续监控要求来解决这一问题，但实施过程中在检测各种临床环境中的细微性能退化方面面临技术挑战。

放射科已成为医疗人工智能最明显的试验场，主要是因为影像工作量已超过可用专家的供给。2025 年发表的研究追踪了将人工智能辅助阅片融入标准工作流程的乳腺癌筛查项目，虽然在严格控制试验中灵敏度有所提高，但真实诊所却报告了不一致的误报率、有争议的后续建议以及放射科医生与机器之间不同的符合度。实验室基准与日常临床现实之间的差距，凸显了本地验证模型的需要——这些模型要根据每家医院的患者构成、影像设备和放射科医生的偏好进行调谐，而不是依赖往往无法在不同人群和医疗体系中可靠迁移的全球平均值。这些证据表明，厂商引述的人工智能性能数据一旦工具进入繁忙科室就未必成立，每次部署都应在技术被信任用于患者决策之前先进行仔细的本地测试。

在影像科室，可解释性仍是临床医生接受诊断性人工智能的最大障碍。许多高性能系统作为黑盒运行，生成自信的评分却不揭示何种影像特征驱动了预测，这使得专家难以判断何时应接受输出、何时应提出质疑。2025 年一项调查中的放射科医生表示，如果工具能显示突出区域、明确标记不确定性并在每条建议旁说明清晰的置信区间，他们会更容易信任人工智能支持。监管机构和厂商正在合作制定可解释性标准，以便当算法与人类专家意见分歧时，临床医生能够充分理解底层推理，从而对是否推翻机器做出明智决定。没有这种透明度，即使准确的系统也难以获得全面融入日常诊断工作流程所需的信心。

影像人工智能的经济论据很有说服力，但在很大程度上取决于技术在常规条件下的可靠性。自动分诊可以优先安排紧急扫描、减轻常规阅片负担并缩短患者的等待时间，但在模型再训练、专业技术人员和监控性能随时间漂移所需的治理方面也带来隐性成本。那些主要将人工智能作为生产力工具采用、却未投入足够资源进行验证和持续监督的医疗系统，常常发现当准确性细微退化未被察觉时，早期收益就消失了。这些早期采用者的经验强化了一个核心原则：只有当底层临床判断在不同患者群体中始终安全时，成本节约和效率改进才是真实的。因此，采购决策应像重视大多数预算讨论中的初始许可费一样重视长期数据治理和维护支出。

建立对医疗人工智能的持久信任，最终需要让劳动力为一种新型临床实践做好准备。医学院和住院医师项目开始教导临床医生如何解读人工智能输出、识别模型局限以及在不放弃专业判断的情况下将机器生成的建议融入诊断推理。目标不是把执业者变成程序员，而是让他们成为成熟的证据消费者，能够就模型是在哪些数据集上、针对何种预期临床用途进行训练提出正确的问题。随着这些能力成为常规，更广泛的对话从人工智能是否值得信任转向如何在从首次分诊到最终治疗决策的整个护理路径中负责任地治理它。在这一不断演变的环境中，临床医生仍然是负有责任的决策者，而机器则扮演着一个强大但受到仔细监督的助手角色。

循证医疗人工智能的实施路线图必须优先考虑透明度、可审计性和人工监督。世界卫生组织 2025 年的指南建议为高风险应用建立独立的验证中心、标准化的报告框架和强制性的临床医生参与要求。这些措施旨在平衡创新与患者安全，确保人工智能增强是加强而非取代临床判断。

更多...