生成AIによる偽情報研究の変革
はじめに
今回はScience誌のウェブサイトに掲載された記事『To misinformation researchers, AI is a scourge－and a powerful new tool』（https://www.science.org/content/article/misinformation-researchers-ai-scourge-and-powerful-new-tool）を紹介する。本稿は、生成AIの急速な進化が「偽情報（ディスインフォメーション）」の拡散手法と、それに立ち向かう研究分野にもたらしたパラダイムシフトについてまとめたものである。AIは悪意あるアクターに、偽情報を巧妙にカモフラージュし、かつてない規模で大量生産する能力を与えた。その「圧倒的な量」による情報環境の氾濫は、民主主義を脅かす新たなリスクとなっている。一方で、偽情報と戦う研究者たちにとっても、AIは膨大なデータ分析や独自の実験を可能にする強力な武器になりつつある。現在、対策の焦点は個別のコンテンツの真贋判定から、背後にあるインフラや戦術の分析へと移行しており、「AIによる脅威にAIでどう対抗するか」という新たな局面を迎えている。
なお、原文ではmisinformation とdisinformation のふたつの術語を用いていたが、短い紹介記事ではふたつの術語を使うと混乱を招くため、日本語標記「偽情報」で統一している。
生成AIにおける偽情報工作の高度化
2023年、ロシアの偽情報工作を調査していた研究者は、ある変化に気付いた。これまで追跡していたフェイクニュースサイト「DCWeekly.org」に突然の変化が起きたのである。今までは既存のニュースサイトの記事を盗用し、記者の名前を変える以外はほとんど手を加えていなかった。しかし一夜にして、このサイトが日々のニュース記事をどこから入手しているのかがわからなくなった。AIの導入により、発信したい1本の「嘘」をカモフラージュするための「ダミー記事の森」を、大量に生成することが可能になったのだ。
EUの報告によれば、2025年に海外勢力が世界的に情報を操作しようとした試みの27％にAIが使用されており、これは2024年からほぼ3倍の増加にあたる。またソーシャルメディア上では、自律的に連携するAIボットの群れ（スウォーム）がオンラインコミュニティに潜入し、「特定の政策について大多数が合意している」という幻想を作り出すことで、議論を操作する可能性があるとの警告を科学者グループがScience誌で発表している。これはすでに起き始めており、X（旧Twitter）のスレッド上で本物の会話に参加するAIボットが実際に増えている。2024年には、「Green Cicada」と呼ばれる中国が運営する大規模なAIアカウントネットワークが摘発され、論争を呼ぶ問題について投稿を行っていたことが明らかになった。個人的な実感としても、X（旧Twitter）を利用していると、インプレッションを多く集めたツイートのリプライ欄にAIとしか思えないアカウントが多数見つけられる。
偽情報研究が直面する課題
研究の現場では、AIの台頭により次のような新たな課題に直面している。
- 検知の困難化：LLM（大規模言語モデル）の普及により、偽のコンテンツを見破ることがますます困難になっている。人間そっくりのメッセージをかつてない規模で拡散させることが可能になった。
- AIの開発スピード：テクノロジーの進化が非常に速く、最新の研究結果が数ヶ月で意味を持たなくなる可能性がある。一部の実験では、参加者が「人間が書いたテキストよりAIが書いたテキストの方が人間らしい」と評価するほど精度が向上しており、先述したAIボットの群れを発見することは今後さらに困難になると警告されている。またAIボットは誤作動やプロンプトインジェクション以外での検知が難しく、前述した「Green Cicada」のようなbot群もアカウントへのプロンプトインジェクションによってAIボットであることが判明している[1]。AIモデルの発展により、プロンプトインジェクションに対しての対策を講じられてしまえば高度なAIボットを検知できる可能性は低くなる。加えて、既存のAIで書かれた文章を検知するツールでは、英語を母国語としない書き手が書いた文章をAI生成と分類してしまう可能性が高いという問題点がある[2]。
- チャットボットから受ける影響の不透明さ：XやYouTubeの公開投稿とは異なり、ChatGPTなどのチャットボットとの会話は公開されていない。そのため、「そこで何が行われているのか誰も見ることができない」というブラックボックス化の問題が生じている。
偽情報の影響力を阻む２つの大きな力
AIによる偽情報の影響力については、懐疑的な見方を示す研究者もいる。その根拠として、偽情報の拡散を阻む「2つのハードル」が挙げられる。
- ターゲティングの難しさ：特定の偽情報を狙った層へ確実に届けることは容易ではない。例えば「マトリョーシカ」と呼ばれるロシアの偽情報キャンペーンは、2025年最初の3ヶ月間で少なくとも135のコンテンツを発信したが、そのうち広く拡散されたのは著名人にリツイートされたフェイク動画1本のみであった。
- 行動変容の難しさ：偽情報によって人々の態度や行動を実際に変えることは驚くほど困難である。2016年の米国大統領選挙におけるロシアの偽情報に関する調査でも、有権者の態度や投票行動に識別可能な影響はなかったことが明らかになっている。
しかし、たとえ個々の偽情報の影響力が弱くとも、AIが生成する偽情報の「圧倒的な量」自体が民主主義に悪影響を与える可能性は非常に高いと言える。その膨大な量はファクトチェッカーを圧倒するだけでなく、人々が目にする情報すべてに不信感を抱き、政治的な議論そのものから身を引く原因になりかねないと指摘されている。
偽情報に対抗するためにAIをポジティブに使用する
生成AIは問題を複雑化させた一方で、偽情報と戦う研究者たちに強力なツールも提供している。
- プラットフォームに依存しない実験：これまで研究者はSNS企業にデータを依存していたが、LLMを用いて独自のテストが可能になった。例えば、Xのフィード上で「分断を煽る投稿」の表示量をLLMを使って調整する実験を行った結果、分断コンテンツを減らされたユーザーは、対立する政党に対してより温和な感情を抱くようになることが実証された。
- 大規模データからの偽情報検知：人間の手には負えない膨大なデータセットの分析にLLMが活用されている。政治家のアカウントが過去8年間に投稿した50万件以上のデータをLLMで分析したところ、表現が巧妙に書き換えられていても偽情報を検知することができ、従来のURL照合手法の約10倍の精度で偽情報の発信を捕捉できた。
研究アプローチの転換と「軍拡競争」の未来
偽情報が高度化する中、研究の焦点は「個別のコンテンツの真贋判定」から、悪意あるアクターの「インフラや行動様式の分析」へと移行しつつある。コンテンツそのものを追いかけるのは「モグラ叩き」に過ぎないため、偽アカウントのSMS認証の裏市場価格を追跡するなど、組織的なキャンペーンの兆候を検知するアプローチが始まっている。一般市民への啓発も「画像が偽物である兆候（指の数など）を探す」ことから、「アクターの動機や戦術を理解する」ことへ重点を移すべきだとされている。画像や文章が偽物である兆候はAIの進化により、数ヶ月で陳腐化してしまう。そこに注目するのではなく、悪意を持ったアクターの行動を分析することによってAIが生成する偽情報に対抗するというのは、新しいアプローチであり、目から鱗が落ちた。
今後の対策において、AIを見破るためにさらに強力なAIを開発するという「軍拡競争」的なアプローチには懐疑的な声もある。しかし一方で、AIの説得力の高さを逆手に取り、事実に基づく真実のメッセージを発信したり、敵対国に対して情報戦を展開したりするなど、「民主主義を守るためにAIを積極的に活用すべきだ」と主張する研究者もおり、対策のあり方は新たな転換期を迎えている。
参考文献
[1]https://www.abc.net.au/news/2024-08-13/green-cicada-beijing-ai-network-uncovered-social-media-x/104219752
[2]https://hai.stanford.edu/news/ai-detectors-biased-against-non-native-english-writers
