根據 Newsguard 的研究報告，截至今年 8 月，十大生成式 AI 工具在處理實時新聞話題時，有 35% 的情況會重複傳播虛假信息，而去年 8 月這一數據為 18%。
虛假信息傳播率的激增與一個重大的權衡有關。當聊天機械人引入實時網絡搜索功能后，它們不再拒絕回答用戶問題——拒絕率從 2024 年 8 月的 31% 降至一年後的 0%。然而，這一變化使得這些 AI 機械人開始接入「受污染的網絡信息生態系統」：在該系統中，不良行為者會蓄意散布虛假信息，而 AI 系統會對這些信息進行重複傳播。
此類問題並非首次出現。去年，Newsguard 就標記出 966 個以 16 種語言運營的 AI 生成新聞網站。這些網站常使用「iBusiness Day」等通用名稱，模仿正規媒體機構，實則傳播虛假新聞。
各 AI 模型的具體表現細分數據顯示，Inflection 公司的模型表現最差，傳播虛假信息的概率高達 56.67%；緊隨其後的是 Perplexity，出錯率為 46.67%。ChatGPT 與 Meta 的 AI 模型傳播虛假信息的比例為 40%；Copilot（微軟必應聊天）和 Mistral 則為 36.67%。表現最佳的兩款模型為 Claude 和 Gemini，其錯誤率分別為 10% 和 16.67%。
Perplexity 的表現下滑尤為顯著。2024 年 8 月時，該模型對虛假信息的揭穿率仍能達到 100% 的完美水平；而一年後，其傳播虛假信息的概率卻接近 50%。
原本引入網絡搜索功能是為了解決 AI 回答內容過時的問題，卻反而使系統產生了新的問題。這些聊天機械人開始從不可靠來源獲取信息，「混淆百年前的新聞出版物與使用相似名稱的俄羅斯宣傳機構」。
Newsguard 將此稱為一個根本性缺陷：「早期 AI 採用『不造成傷害』的策略，通過拒絕回答問題來避免傳播虛假信息的風險。」
如今，隨着網絡信息生態系統被虛假信息充斥，辨別事實與假消息比以往任何時候都更加困難。
OpenAI 已承認，語言模型總會產生「幻覺內容」（指 AI 生成的虛假或無根據的信息），因為這些模型的工作原理是預測「最可能出現的下一個詞」，而非追求「事實真相」。該公司表示，正致力於研發新技術，讓未來的模型能夠「提示不確定性」，而非篤定地編造信息。但目前尚不清楚這種方法能否解決 AI 聊天機械人傳播虛假信息這一更深層次的問題——要解決該問題，需要 AI 真正理解「何為真實、何為虛假」，而這一點目前仍難以實現。
