OpenAIが新しいデジタル影響工作報告書を公開 目立った脅威は見つからず

OpenAIは2024年10月9日、同社のモデルを利用したデジタル影響工作に関する報告書を公開した。この報告書のシリーズはDFRLabでデジタル影響工作の基礎を作り、その後、Graphica、Metaでデジタル影響工作対策をリードしてきたベン・ニモがOpenAIに移籍してから始まったものだ。なお、今回の報告書で用いられているブレイクアウト・スケールはベン・ニモが開発したものである。内容は同社のモデルを使用したデジタル影響工作をテイクダウンした記録となっている。
OpenAIは2024年に入ってから世界中で20以上の作戦やネットワークをテイクダウンしてきた。モデルの悪用はマルウェアの開発、記事の作成や掲載、SNSでのなりすましなど多岐にわたる。今回のレポートではAIを使用したツールのおかげで分析が効率化したことが最初に書かれている。
サイバー空間における作戦の一部にAIが利用されることが多くあり、AIの利用状況を把握することで作戦全体を把握しやすくなる。マルウェアの開発やバイラル拡散などにおいてAIの利用が行われているが、まだ効果的と言えるレベルには達しておらず、今回暴露されているデジタル影響工作でもほとんどの影響力は低かった。その中でもっともリーチがあり、メディアの注目を集めたのはAIを使っていないのに使っているふりをしたデマだった。
アメリカ、ベネズエラ、ルワンダ、インド、EUの選挙に関するSNSの投稿を生成していたAIを検知し、妨害した。アメリカに対して行われたのはSNS投稿や記事の生成で、イランによるものだった。
デジタル影響工作ではないが、OpenAIは中国のグループ”SweetSpecter”から攻撃を受けたことも書かれている。
ほとんどの攻撃はブレイクアウト・スケールというデジタル影響工作の影響評価に当てはめると「2」以下だったと結論している(スケールは1から6までで6が最大の脅威となる)。つまりたいした脅威にはなっていないなかった。
後半にはケーススタディとして、下記について解説されている。
サイバー攻撃
・SweetSpecter 中国。偵察、脆弱性調査、スクリプト、検知の回避、開発のために同社モデルを利用。同社にも攻撃を行っていた。
・CyberAv3ngers イランのIRGC関連グループCyberAv3ngersが、PLCの解析を行うために同社のモデルを使用。
・STORM-0817 イランによるもので、SNSをスクレイピングするためのマルウェアとツールを開発していた。
デジタル影響工作
・Hoax: Russian “troll” ロシアのアカウントが同社のモデルできなくなったことを暴露する投稿。同じアカウントは以前同社のモデルを使用していたが、執行したことを示すメッセージは同社のモデルによるものではなかった。このデマは今回の中でもっとも拡散され、ブレイクアウト・スケールの3か4に位置していた。
・Cross-platform influence operation: Stop News 西アフリカ、イギリスをターゲットにした英語、フランス語、ロシア語のコンテンツを生成していた
・Cross-platform influence operation: A2Z 米国のアクターが英語、フランス語、ペルシア語、アゼルバイジャン語、アルメニア語、イタリア語、スペイン語、トルコ語、ドイツ語、ポーランド語、ロシア語などの言語で、XおよびFacebookに政治的コメントを投稿。
・Cross-platform influence operation: STORM-2035 イランによるもので、米国選挙などに関するWEB記事やSNS投稿。
・Single-platform spam network: Bet Bot イスラエル企業。XのDMでギャンブルリンクをスパムしていた。
・Single-platform commenting network: Rwandan election content ルワンダの選挙で政治に関する投稿を生成していた。
・Single-platform commenting network: Corrupt Comment アレクセイ・ナワリヌイへの批判をXに英語で投稿していた・
・Abusive reporting: Tort Report ベトナムの独立系メディアのFacebookやYouTubeへの投稿を通報を生成していた。