生命危险?Tripadvisor的AI摘要竟然为“死人酒店”点赞,引发大问题
发生了什么?新闻概述
- 严重事实被掩盖: Tripadvisor的AI摘要被发现将因食物中毒导致死亡或报告有死鼠的酒店描述为“干净且受欢迎”,这一点在英国消费者组织Which?的调查中暴露出来。
- 聊天机器人撒谎: AI旅游规划师“Ollie”对超过100起食物中毒报告的酒店宣称“食物中毒风险极低”,误导了用户对安全性的判断。
- 性骚扰被低估: AI将员工严重性骚扰的评论总结为“服务的小瑕疵”,隐藏了重大风险。
为什么这很重要?关注点
AI在“高效”总结大量评论的过程中,可能会将少数但致命的警告信息视为“噪音”而剔除,或强行融入到正面的语境中,这一风险得到了凸显。用户因为相信AI的摘要而进行预订,可能会实际面临身体健康受损或犯罪的风险,这一现实值得关注。
🦈 鲨鱼的视角(策展人的看法)
这并不是技术的局限,而是实施中的“疏忽”!特别是Riu Palace的案例惊人。自2023年以来已有7人死亡,最近还报告了“生鸡肉”和“死鼠”,而AI却总结为“餐厅备受赞誉”。这证明了现有的评论分析算法对生命相关的“极端负面信息”没有给予足够的权重!
至于对话AI Ollie,面对具体风险的提问,它竟然回答“卫生标准评价很高”。这显示了“幻觉”(看似可信的谎言)不仅仅是知识错误,更可能成为威胁现实世界安全的武器。数据过滤和安全防护缺失在这则新闻中暴露无遗!
接下来会怎样?
Tripadvisor承诺将作为“开发中的产品”进行改进,但未来平台将面临对“AI误信息提供”的法律责任的严格审查。特别是在涉及旅行和医疗等直接关系安全的领域,AI摘要生成将被要求严格配备事实核查功能。
鲨鱼的一个观点
AI很方便,但最终还是要自己亲自查看“最差的评论”!保护自己的是自己,而不是AI!鲨鱼鲨鱼!🦈🔥
术语解释
-
AI摘要: 从大量文本数据中提取主要观点并进行简短总结的技术。
-
幻觉: AI产生不基于事实且看似可信的谎言的现象。
-
旅游科技: 在旅游行业中引入AI和IT技术,以提高便利性的服务总称。
-
信息来源: Tripadvisor AI summaries give glowing reviews to dangerous hotels