生成AIによるクレムリンの偽情報への言及は「グルーミング」というよりも「データボイド」によるものであるという検証

2025年12月19日

URLをコピーしました！

1.はじめに

今回は、Harvard Kennedy School Misinformation Review 掲載の論文「LLMs grooming or data voids? LLM-powered chatbot references to Kremlin disinformation reflect information gaps, not manipulation」（https://misinforeview.hks.harvard.edu/article/llms-grooming-or-data-voids-llm-powered-chatbot-references-to-kremlin-disinformation-reflect-information-gaps-not-manipulation/）を紹介する。

本論文は、NewsGuardの報告書で論じられ広く引用された指摘「ロシアの偽情報メディアが大規模言語モデル（LLM）を意図的に「グルーミング」（調教）し、親クレムリン（ロシア政府）の偽情報を復唱させている」を検証したものである。従来の「LLMグルーミング説」と本論文が提示した「データボイド説」の二つの対立する説明仮説を提示し、ChatGPT-4o、Gemini 2.5 Flash、Copilot、Grok-2の4つの主要なLLM搭載チャットボットを対象にした分析を実施した。結果、LLMグルーミング説を支持する証拠はほとんど見つからなかった。チャットボットの応答で偽情報を復唱するケースはまれで、偽情報サイトを参照するケースもごくわずかだった。参照した場合でも、チャットボットは情報源を「未検証」または「争点となっている」と、注意喚起つきで明示していた。

本論文の分析は、これらの結果が体系的なLLMグルーミングの兆候というよりも、チャットボットが「データボイド」に直面した際に生じたものだと結論づける。データボイドとは、特定の話題について検索結果が少なく、その空白を誤情報や偏った情報が埋めてしまう状況を指す。つまり、偽情報の参照は外国からの干渉よりも、オンライン上の信頼できる情報の不足が原因である可能性が高い。

これらの知見は、AIが偽情報にどのように脆弱であるかの理解を深める。主要なリスクは外国勢力による操作そのものよりも、オンライン上の情報の質が不均一であることに由来する可能性が高い。本論文は、敵対的行為者によるAI操作の脅威を過度に強調するよりも、十分に報道されていない論点について信頼できるコンテンツの入手可能性を高めることが重要であると強調している。

2.データボイドとは？

「データボイド」とは、マイクロソフトのMichael Golebiewski氏により2018年に提唱された概念で、米国拠点の非営利シンクタンクData & Societyの創設者であり、ジョージタウン大学教授でもあるDanah Boyd氏と共同で体系化された。この概念は、検索エンジンなどで話題を検索した際、ヒットする情報源がわずかであったり、全く存在しないという「データの欠落」の状態を指す。データボイドは情報エコシステムの脆弱性の一つであり、検索エンジンだけでなく、SNSの検索でも発生する。また、検索機能に限らず、特定の状況で参照できるデータが少ない場合（AIのデータセットなど）でもデータボイドは発生する。この現象の問題は、データボイドが発生している話題では、信憑性の低い情報源も主要な情報として提示されてしまう。そこにつけこんだ悪意ある行為者が、データボイドが発生しているトピックに対し、あらかじめ偽情報が載ったサイトを作ってしまうと、簡単に検索結果を操作できる。データボイドが脆弱性の一種と言われる理由はこの点にある。

INODSではこれまでにデータボイドに関する記事を複数公開している。

「データボイド脆弱性の危険性　「偽・誤情報の棚卸し2024」第3回」（https://inods.co.jp/topics/report-reviews/3846/）では、先のDanah Boyd氏がData&Societyに寄稿した「Making Sense of Data Voids ? Reckoning with Mis/Disinformation in 2024（データボイドを理解する／2024年の誤情報・偽情報への対処）」と題された文章を紹介している。Boyd氏によるデータボイド対策活動の総括となる文章で、データボイドは単なる技術的な脆弱性ではなく、複雑に絡み合った「Sociotechnical（社会技術的）」な問題であるということを正しく理解しなければ、我々はこの問題に対処できないことが説明されている。

「NewsGuardの一連の生成AIリスクに関する記事の意図」（https://inods.co.jp/topics/news/2399/）では、NewsGuard公開の2つの記事が紹介されている。ひとつは「代表的な10の生成AIモデルが32％の確率で親ロシアの誤・偽情報サイトの情報を回答していた」という記事。前項で取り上げた報告書と非常に似ているが、こちらは2025年6月に公開された全く別物の記事である。
もうひとつは「その原因は大手メディアの88％が生成AIに学習を許可するライセンスを与えないため、信頼できる情報源が少なく、陰謀論の情報を多く学習してしまうため」という内容の記事。ここでは参照できる信頼性の高い情報が少ないことにより、検索エンジン内ではなくAIのデータセット内でデータボイドが発生しているようだ。

3.背景

2025年3月、偽情報を追跡する企業であるNewsGuardは、生成AIがロシアの偽情報を繰り返していると主張する報告書「A well-funded Moscow-based global ‘news’ network has infected Western artificial intelligence tools worldwide with Russian propaganda」（https://www.newsguardrealitycheck.com/p/a-well-funded-moscow-based-global）を公表した。報告書によれば、クレムリンに関係した「プラウダ・ネットワーク」と呼ばれるウェブサイト群に由来する虚偽の主張を、関連する質問を与えられた場合に33％の割合で繰り返していたという。

この報告書は、この結果が新たな偽情報戦術の存在を示唆していると論じた。つまり、LLMの「グルーミング」や、意図的にオンライン上に虚偽の主張をばら撒くことで、それらがチャットボットと連携した検索エンジンによってインデックス化（検索エンジンがWebページの内容を認識・分析し、データベースに登録すること）されたり、AIの学習データに取り込まれることを期待する戦術が存在することを、この結果は示唆している。LLMグルーミングはデータ汚染攻撃（data-poisoning attack）の一形態であり、大規模言語モデルの学習に用いられる素材に意図的に誤解を招く情報を混入させ、後にチャットボットがそれを繰り返すようにする操作手法である。

しかし、この報告書は透明性に欠けると本論文は指摘している。報告書では完全なプロンプト・セットやコーディング・スキームが提示されておらず、安全フィルターを回避することを目的とした不明瞭なプロンプトに依存していた。また、虚偽の主張をそのまま繰り返したケースと、チャットボットが偽情報として「注意喚起・ラベル付け」した主張とを混同して扱っていた。

論文では、この論争はLLMがいつ、なぜ偽情報を再生産するのか、そしてその再生産にどのようなメカニズムが寄与しているのかを理解する上で重要であるとしたうえで、これらの力学を理解することは、AIの信頼性評価や、デジタル情報の健全性をめぐるより広範な議論にとって不可欠であると強調する。

さらに留意すべき点として、NewsGuardは単なる研究機関ではなく、情報源の信頼性データベース（Source Reliability Database）を提供する企業であるという背景がある。

前項でNewsGuard自身が指摘していた「大手メディアの88％が生成AIに学習ライセンスを与えていないため、信頼できる情報源が不足している」という問題設定は、生成AIがどの情報源をどの程度重みづけて学習・参照すべきかという課題と直結している。この点において、情報源の信頼度に基づく重み付けや優先順位付けが必要になればなるほど、NewsGuardのデータベースの価値は高まるという背景を踏まえると、ビジネス的な意図が含まれている可能性を払拭できない点に留意すべきだ。

したがって、LLMが「グルーミング」という外部からの操作によって深刻に汚染されているという問題設定は、同社の提供するサービスの重要性を強調する方向に働く側面がある。このこと自体が報告書の結論を否定するものではないが、分析結果を評価する際には、研究内容と企業の利害関係とを切り分けて慎重に読む必要がある。

4.「LLMグルーミング」仮説 vs. 「データボイド」仮説

本研究では、競合する2つの仮説を置いた。

クレムリンと関係する行為者が、意図的にオンライン上で偽情報を拡散することで、LLMを「グルーミング」しているという仮説。
これは将来的に（たとえば自動的なウェブクローリングを通じて）LLMの学習データに取り込まれることを期待したもので、もしこのようなグルーミングが成功していれば、悪意ある行為者はチャットボットの回答を間接的に操作できることになる。
チャットボットが「データボイド」に直面したときに偽情報が生じているという仮説。
データボイドという概念は、もともと検索エンジン研究に適用されてきたが、検索エンジンと統合されたLLM搭載チャットボットにも同様に当てはまる。

ただ、データボイドそれ自体が必然的に偽情報を生み出すわけではない。そこで本研究ではデータボイドと偽情報を結びつけるメカニズムとして、ある仮定を置いた。それは次のようなものだ。信頼できる情報源が存在しない場合、モデルは利用可能な「その場にある」情報に依存する。その結果、同一の話題について、信頼できる情報が不足していると、信頼性の低い情報や偏った情報、偽情報も参考にして応答を作成せざるを得なくなる。このようなメカニズムを仮定すると、偽情報はLLMがグルーミングされたから現れるのではなく、情報の希少性の副産物として現れる場合があることが考えられる。

5.研究手法

本研究では、監査型研究アプローチに基づき、LLM搭載チャットボットがクレムリン系偽情報にどのように応答するかを体系的に検証した。対象として、2025年春時点で広く利用されている ChatGPT-4o、Copilot、Gemini 2.5 Flash、Grok-2 の4つのチャットボットを選定し、地理的位置の影響を考慮して、英国（マンチェスター）とスイス（ベルン）の2地点からプロンプトを送信した。

分析は2025年4月22日に実施し、計13個の構造化されたプロンプトを用いた。プロンプトは、

NewsGuard報告書に基づく高度に具体的なもの（5件）
主流メディアによって広く反証されている一般的な偽情報に関するもの（3件）
プラウダ系情報源にのみ見られる、極めてニッチで詳細な主張を反映したもの（5件）

に分類される。LLMの内在的なランダム性を考慮するため、各地域・各チャットボットにつき4つのインスタンス（エージェント）を用い、合計で416件（4チャットボット×2地域×4インスタンス×13プロンプト）の回答を収集した。実際の利用状況に近づけるため、APIではなくウェブインターフェースを用い、温度設定はデフォルトのままとした。

得られた416件の回答は手作業でコーディングされ、

既知の虚偽主張を肯定しているか否か（偽情報の支持）
プラウダなどのクレムリン関連情報源を参照しているか

という2つの次元で分類された。
この方法により、無制御な大量データではなく、追跡可能で設計されたテストケースに基づいて、LLMの挙動を制御条件下で評価することを目的とした。

6.結果

発見1：LLM搭載チャットボットがクレムリン関連の偽情報を支持することは稀であり、その割合はわずか5％にとどまる。
既知のクレムリン系偽情報の主張に基づくプロンプトを用い、416件のLLM搭載チャットボットの回答を分析した結果、偽情報を支持する回答は21件（全体の5％）にとどまった。モデル別では、Gemini 2.5 Flashが最も高い支持率（英国・スイスともに13.5％）を示した一方、CopilotおよびGrok-2（スイス）では3.8％にすぎなかった。統計的に有意な効果が確認されたのはGemini 2.5 Flashのみであり（p < .01）、全体としてLLMは、既知の偽情報に基づくプロンプトに対しても、クレムリン系偽情報を再生産しにくいことが示唆される。

発見2：プラウダなどのクレムリン関連情報源への言及は稀であり、その多くは偽情報を反証する文脈で現れる。
クレムリン関連情報源（プラウダ・ネットワーク）への言及は、LLM搭載チャットボットの回答全体の8％にとどまり、その大半はCopilotによるものであった。プラウダへのリンクを用いて偽情報を支持した回答は全体の1％にすぎない。プラウダを参照した34件の回答のうち、4件が偽情報を支持し、残る30件のうち、当該サイトを偽情報源として明示的に警告したのは1件のみであった。約3分の2の回答は主張が未検証であることや既知の偽情報キャンペーンとの関連を示していた一方、約3分の1はプラウダを「相反する報道」の一部として提示しており、既知の偽情報源であることを明確に警告していなかった。このことは、LLMが偽情報源への言及自体は稀であるものの、それらを適切にラベル付けできない場合があるという課題を示している。

発見3：偽情報プロンプトに対するLLM搭載チャットボットの応答は概ね一貫しているが、Geminiは有意にばらつきが大きい。
偽情報プロンプトに対するLLM搭載チャットボットの応答は全体として高い一貫性を示しており、虚偽主張の再生産に関する回答の不一致率は、ChatGPT-4o、Copilot、Grok-2で平均3～4％にとどまった。一方、Gemini 2.5 Flashのみばらつきが相対的に大きく、同一プロンプトに対する回答が平均17％のケースで異なっていた。プラウダ・ドメインへの参照については、ChatGPT-4oおよびGemini 2.5 Flashでは変動が確認されず、CopilotとGrok-2でも不一致率は3～4％と低水準であった。これらの数値は、先行研究で報告された最大53％という高い不一致率と比べて大幅に低く、近年のLLMにおける回答の安定性が向上している可能性を示唆しているが、質問設計の違いも影響している可能性がある。

発見4：クレムリン関連情報源への言及は主にニッチなプロンプトへの応答として生じており、LLMグルーミングよりもデータボイド仮説を支持している。
クレムリン関連情報源（プラウダ）への言及は、広範な質問ではなく、きわめて限定的でニッチなプロンプトに対して集中して発生していた。具体的には、確認された34件のプラウダへの参照のほぼすべてが、一般的な情報源では扱われていない主張に関する質問への応答であり、その内訳は、NewsGuardが用いた高度に具体的なプロンプトからの14件と、ウクライナやアルメニアの生物学研究所に関するプラウダ独自の主張に一致するよう研究者が作成したプロンプトからの20件であった。チャットボットのモデルや利用地域を統制しても、プラウダ記事と一致する具体的なプロンプトは、プラウダへの参照の発生確率と有意に関連しており（p < .05）、さらにCopilotの効果も引き続き有意であった（p < .01）。この分布は、データボイド仮説を支持している。プラウダへの参照は、LLMの「グルーミング」の結果ではなく、主流かつ信頼性の高い情報が不足する状況において、やむを得ず信頼性の低いコンテンツを検索・参照せざるを得ないためであると考えられる。

7.結論

本研究の結果は、LLMが意図的に操作されているとするグルーミング理論をほとんど支持しない。クレムリン関連情報源の引用や虚偽主張への同意は全体として稀であり、虚偽の主張に同意することはさらに少ないことが示された。プラウダ系ドメインへの参照は、主流メディアでは扱われていない細部に焦点を当てた、極めて限定的なプロンプトに対してのみ生じており、体系的な浸透というよりも、信頼できる情報が不足する「データボイド」に直面した際の典型的な挙動と解釈できる。

この知見はAI開発者の責任を否定するものではないが、問題の焦点を外国勢力による操作から、情報エコシステムに内在する構造的脆弱性へと移す必要性を示唆している。また、偽情報が回答に現れるには、①非常に具体的で、②十分にカバーされていない話題についての質問がなされ、③安全対策が機能しないという複数の条件が重なる必要があり、通常の利用状況で遭遇する可能性は低い。

もっとも、LLMグルーミング仮説とデータボイド仮説は、その定義から考えれば本来は必ずしも排他的な関係にあるとは限らない。悪意ある行為者が、情報の乏しいトピック（すなわちデータボイドが生じやすい領域）を狙って意図的に偽情報を投入する場合、両者は相互に補強し合う可能性がある。

本論文では、分析の明確化のために両仮説を対立的に設定しているが、実際の情報環境では、データボイドという構造的条件の上に、限定的なグルーミング行為が重なるという形で影響が現れる可能性も否定できない。
たとえば、LLMが偽情報源を参照しつつも「未検証」「信頼性に疑義がある」といった注意書きを付す場合、それはグルーミングが完全には成功していない一方で、情報の不足ゆえにその情報源に「触れざるを得なかった」状態と解釈できる。

（一田和樹追記）
そもそもデータボイドは仕組みの不備により発生する「現象」であり、LLMグルーミングのような明確な意図を持った「影響工作」とは全く異なるものである。競合する仮説と言うのは無理がある。サイバーセキュリティの文脈で表現すると、データボイドは脆弱性であり、LLMグルーミングは脆弱性を狙った攻撃なのだ（より正確に言うとLLMグルーミングは定義上データボイドがない場合も攻撃可能）。
今回の論文はこの点で認識の取り違えあるいは混乱が見られる。こうした混乱を避けるため、INODSではデータボイドのことを「データボイド脆弱性」と呼ぶことが多い。
もともとLLMグルーミングを始めとするロシアのオペレーションは、それ自身による効果が限定されていることが多い。活動に注目させ、メディアや研究機関に取り上げさせることが目的とする説もある。今回の論文のように直接的な効果にのみ注目すると攻撃の全体像を読み誤りやすい。
NewsGuard社の活動の多くはこの領域で貴重で意義のあるものだが、ロシアの意図に沿って本来無視してよい程度のものを過剰に露出しているという側面もある。前述のように、脅威を煽ることで自社の事業にプラスの効果を期待しているようにも見える。効果のないものの脅威を喧伝することはロシアにプラスになると同時に、その対策など関連事業を営んでいる企業にとってもプラスになるのだ、ということを思い出させてくれる論文だった。