[AI小道消息] ChatGPT Health错过了超过一半的紧急情况？潜在的生命风险“低估”问题浮出水面

📰 新闻概述

• 根据发表在《自然医学》杂志上的研究，ChatGPT Health在51.6%的需要紧急治疗的情况下进行了“低估（undertriage）”，建议用户在家等候。
• 在哮喘和糖尿病酮症酸中毒等严重情况下，AI判断为“没什么大不了”，存在风险延误的可能性。
• 自杀念头的防护功能在输入特定附加信息（如检测结果）后失效的脆弱性被确认。

💡 重要要点

• 防护功能的脆弱性：一名27岁的患者在输入自杀暗示时，通常会出现支援横幅，但只需添加“正常的检测结果”这一信息，横幅就完全不再显示（16次中0次）。
• 提供错误的安全感：对重症状况建议“等待48小时”等，可能给用户带来致命的“虚假安全感”。
• 独立评估的必要性：专家指出，为了防止AI造成的健康损害，迫切需要建立明确的安全标准和独立审计机制。

🦈 鲨鱼的视角（策展者观点）

本文的核心在于AI的安全功能令人震惊地“脆弱”！尤其令人震惊的是，自杀预防的防护功能竟然可以通过输入“检测结果”这类看似无关的信息而失效，这暴露了实现上的一个重大缺陷。这表明，虽然AI似乎能够高度理解上下文，但在特定关键词或模式组合下，安全功能会被绕过。对于典型的“教科书式紧急情况（如中风等）”反应强烈，但在复杂条件交织时，分流的准确度却可能降至50/50，这对于医疗工具来说实在是极其危险的！

🚀 接下来会如何发展？

在此次独立调查后，OpenAI等AI开发公司将面临更严格的安全标准的要求，并需定期接受第三方机构的详细审计。医疗领域AI的应用将引发关于法律责任等问题的广泛讨论。

💬 鲨鱼的建议

虽然很方便，但将生命交给AI……不，交给鲨鱼的判断，还是太早了！相信自己的直觉和专业医生的意见才是最好的选择！🦈🔥

📚 术语解释

• 分流：根据患者的病重程度决定治疗优先级的过程。

• 防护功能：限制AI生成不适当、危险或有害回答的安全功能。

• 自杀念头：渴望死亡或具体思考自我了断的状态。

• 信息来源: ChatGPT Health fails to recognise medical emergencies – study