10の主要LLMモデルが偽情報回答は35％悪化　NewsGuard社レポート公開

NewsGuard社は毎月10の主要AIの回答に関する監査レポートを公開しており、昨日公開された2025年9月4日に公開されたレポートは1年間のまとめである。

AI False Information Rate Nearly Doubles in One Year
https://www.newsguardrealitycheck.com/p/chatbots-spread-falsehoods-35-of

レポートの表紙には虚偽の回答をする率が35％に増加したことが書かれている。2024年8月の時点では18％だったものが、およそ倍増したことになる。モデルごとにみると、もっともひどかったのはInflectionの56.67％、次いでPerplexityの46.67％、その次はChatGPTとMetaの40％だった。Perplexityは2025年8月の時点で100％を叩き出していたが、凋落した。

何度か記事で取り上げたようにロシアはLLMグルーミングという手法を用いて、LLMに自国のプロパガンダを回答させている。これらのLLMモデルはまんまと引っかかっていたということになる。悪化の状況は時期によって異なる。ロシアのLLMグルーミングはその規模と対象を拡大し、進化していることも原因のひとつである。

改善された点もある。たとえば回答しないという割合はゼロとなった。回答しても偽情報だったら仕方がないのだが……

NewsGuard社は定常的に監査を行い、その内容を公開しているので、参考になるものの、こうした活動が同社のビジネスと密接に関係していることは頭に入れ置く必要がある。同社はLLM学習のためにデータソースのレイティングの提供も事業として行っている。

ここまで読んだ方はもっとも正確に答えられたLLMを知りたくなったと思う。ぜひ、NewsGurad社のレポートを読んでいただきたい。