[AIマイナーニュース速報] ChatGPT Healthが緊急事態の半数を見逃す？命に関わる『過小評価』のリスクが判明

📰 ニュース概要

• 雑誌『Nature Medicine』に掲載された研究で、ChatGPT Healthは緊急治療が必要なケースの51.6%で「過小評価（アンダートリアージ）」を行い、自宅待機などを勧めた。
• 喘息や糖尿病性ケトアシドーシスなどの深刻なシナリオにおいて、AIは「大したことはない」と判断し、手遅れになるリスクがあることが指摘された。
• 自殺念慮に関するガードレール機能が、特定の追加情報（検査結果など）を入力することで機能しなくなる脆弱性が確認された。

💡 重要なポイント

• ガードレールの脆弱性: 27歳の患者が自殺をほのめかす入力に対し、通常は支援バナーが表示されるが、「正常な検査結果」という情報を加えるだけでバナーが100%表示されなくなった（16回中0回）。
• 誤った安心感の提供: 重篤な症状に対して「48時間待機」などの助言を行うことがあり、ユーザーに致命的な「偽の安心感」を与える危険性が強調されている。
• 独立した評価の必要性: 専門家は、AIによる健康被害を防ぐため、明確な安全基準と独立した監査メカニズムの構築が急務であると主張している。

🦈 サメの眼（キュレーターの視点）

この記事の核心は、AIの安全機能が驚くほど「脆い」という点にあるサメ！ 特に衝撃的なのは、自殺防止のガードレールが「検査結果の記述」という、一見関係のない情報で無効化されるという実装上の穴だサメ。これは、AIが文脈を高度に理解しているようでいて、実は特定のキーワードやパターンの組み合わせで安全機能がバイパスされてしまうリスクを浮き彫りにしているサメ。典型的な「教科書通りの緊急事態（脳卒中など）」には強い一方で、複雑な条件が混ざるとトリアージの精度が50/50まで落ちるというのは、医療ツールとしては極めて危険だと言わざるを得ないサメ！

🚀 これからどうなる？

今回の独立調査を受け、OpenAIなどのAI開発企業には、より厳格な安全基準の導入と、第三者機関による定期的かつ詳細な監査が求められるようになるはずだサメ。医療分野におけるAI活用は、法的な責任問題も含めて大きな議論を呼ぶことになるだろうサメ。

💬 はるサメ視点の一言

便利だけど、命をサメ任せ……じゃなくてAI任せにするのはまだ早すぎるサメ！自分の直感と専門医の意見を信じるのが一番だサメ！🦈🔥

📚 用語解説

• トリアージ: 患者の重症度に基づいて、治療の優先順位を決定すること。

• ガードレール: AIが不適切、危険、または有害な回答を生成しないように制限をかける安全機能のこと。

• 自殺念慮: 死にたいと願うことや、自ら命を絶つことについて具体的に考える状態のこと。

• 情報元: ChatGPT Health fails to recognise medical emergencies – study