科学者が仕掛けた「架空の病気」にAIが完敗！デタラメを信じ込むLLMの脆弱性が露呈

📰 ニュース概要

• スウェーデンの研究者が、ブルーライトが原因で瞼が変色する架空の病気「ビクソニマニア」を捏造し、偽の論文を公開した。
• Copilot、Gemini、ChatGPT、Perplexityなどの主要AIが、この架空の病気を「実在する稀な疾患」としてユーザーに回答した。
• 捏造論文には「この論文は全て作り話である」と明記され、協力者に「スターフリート・アカデミー」などが記載されていたが、AIはこれらを見抜けなかった。

💡 重要なポイント

• AIはCommon Crawlなどの巨大データベースを元に学習するため、一度ネット上に公開された偽情報を「事実」として取り込んでしまうリスクがある。
• 捏造された論文が、AIを介して（あるいは確認不足の人間により）査読付きの学術文献に引用されるという「科学プロセスの汚染」が発生している。
• 著者名「Lazljiv Izgubljenovic」はAI生成画像を使用し、架空の「アステリア・ホライゾン大学」に所属している設定だった。

🦈 サメの眼（キュレーターの視点）

この実験結果はあまりにも鮮やかすぎて背筋が凍るサメ！研究者が「スターフリート・アカデミー（宇宙艦隊アカデミー）」や「エンタープライズ号」なんていうSFネタを論文の謝辞に仕込んで、本文にも「全部作り話だ」とデカデカと書いたのに、AIはそれを完全に無視して『ビクソニマニアは興味深い疾患だ』なんて回答したんだサメ。これはLLMがコンテキストを深く理解しているのではなく、単にネット上の文字列の出現パターンを確率的に繋げているだけだという弱点を突いた鋭い一撃だサメ！しかも、このデタラメを人間が書いた本物の論文が引用し始めているという点は、科学の信頼性を根底から揺るがす大問題だサメ！

🚀 これからどうなる？

AIが生成した、あるいはAIが信じ込んだ「嘘の事実」がネット上に溢れ、それをまたAIが学習するという「負のループ」が加速するサメ。今後、医療情報や学術情報のフィルタリングは、今の技術レベルでは不十分であることが証明されたため、より厳格な情報の検証アルゴリズムが求められることになるサメ。

💬 はるサメ視点の一言

「全部嘘」って書いてあるのに信じちゃうなんて、AIもおっちょこちょいサメね！でも、健康に関わる嘘は笑えないサメ！情報を喰らう時は、ちゃんと鮮度と真偽を確かめるのがサメの掟だサメ！サメサメッ！

📚 用語解説

• LLM (大規模言語モデル): 大量のテキストデータを学習し、人間のように自然な文章を生成するAI。ChatGPTなどが代表例。

• プロンプトインジェクション: AIの安全ガードレールを回避させ、本来禁止されている出力や特定の操作を強制させる攻撃手法。

• ハルシネーション: AIが事実に基づかない情報を、あたかも真実であるかのように堂々と生成してしまう現象。

• 情報元: Scientists invented a fake disease. AI told people it was real