科学家设计的“虚构疾病”让AI彻底失败！LLM信以为真的脆弱性暴露无遗

📰 新闻概要

• 瑞典研究人员虚构了一种由蓝光引起的眼睑变色的虚构疾病“维克索尼马尼亚”，并发布了虚假的论文。
• Copilot、Gemini、ChatGPT、Perplexity等主要AI将这种虚构疾病当作“真实存在的罕见疾病”回答给用户。
• 尽管虚构论文中明确表示“这篇论文完全是虚构的”，且合作机构列出了“星际舰队学院”等，但AI却未能识别这些信息。

💡 重要的要点

• AI基于Common Crawl等庞大的数据库进行学习，因此一旦网络上发布的虚假信息就可能被当作“事实”吸收。
• 虚构论文通过AI或未确认的人的引用，导致“科学过程的污染”，即被引用为经过同行评审的学术文献。
• 作者名“Lazljiv Izgubljenovic”使用了AI生成的图像，并假设其隶属于虚构的“阿斯特里亚地平线大学”。

🦈 鲨鱼的视角（策展人的观点）

这个实验结果实在太过惊人，令人毛骨悚然！研究人员在论文的致谢中夹杂了“星际舰队学院”和“企业号”等科幻元素，且文中赫然写着“全部是虚构”，但AI却完全忽视了这些信息，回答说“维克索尼马尼亚是一种有趣的疾病”。这是对LLM在语境理解上的缺乏深入认识的锐利一击，实际上它只是在概率上拼接网络文字串而已！更糟糕的是，这种荒唐的内容开始被真实的论文引用，这根本动摇了科学的可靠性！

🚀 接下来会怎样？

AI生成或信以为真的“虚假事实”在网络上泛滥，而这些又被AI继续学习，形成了一个加速的“负循环”。未来，医疗信息和学术信息的过滤在现有技术水平下显然不足，因此需要更严格的信息验证算法。

💬 鲨鱼的见解

“全部是虚构”都写得这么明白，居然还相信，AI真是太不靠谱了！不过，健康相关的谎言可不是开玩笑的！在获取信息时，务必要认真核实其新鲜度和真实性，这是鲨鱼的法则！鲨鱼鲨鱼！

📚 术语解释

• LLM (大型语言模型): 基于大量文本数据进行学习，生成类似人类自然语句的AI，ChatGPT等为代表。

• 提示注入: 一种攻击手法，用以规避AI的安全防护，强制输出原本禁止的内容或特定操作。

• 幻觉: AI生成与事实不符的信息，仿佛那是真实的现象。

• 信息来源: Scientists invented a fake disease. AI told people it was real