OpenAI最新の悪用報告書に感じる不自然さ

OpenAI自身が発表した最新のレポートによると、OpenAIは「監視や世論操作などの目的でChatGPTを悪用していたと思わしき複数のアカウント」を削除したという。
報告書の概要
OpenAIは、同社のAIモデルの悪用を阻止するための取り組みに関する報告書(Disrupting malicious uses of our models)を2024年2月に発表した。
https://openai.com/index/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors/
これはOpenAI自身が、AIの研究ラボとして「OpenAIのサービスが悪用されている状況」を調査し、その情報を初めて共有したレポートだ。さらに同社は2024年10月、アップデート版の報告書(Influence and cyber operations)を発表した。
https://cdn.openai.com/threat-intelligence-reports/influence-and-cyber-operations-an-update_October-2024.pdf
そして今回、2025年2月21日に再びアップデート版(Disrupting malicious uses of our models)が発表された。
https://cdn.openai.com/threat-intelligence-reports/disrupting-malicious-uses-of-our-models-february-2025-update.pdf?utm_source=chatgpt.com
過去二回の報告書は、主に国家が関与するサイバー攻撃やプロパガンダ活動、選挙活動や影響工作でAIが悪用されるケースに焦点を当てていた。しかし今回の最新版では、「AIモデルそのものの悪用例」が幅広く取り上げられている。
ケーススタディ
それらの中でも、特に興味深い事例をいくつか紹介したい。
1.中国の監視ツール「Peer Review」
中国を拠点とするグループがChatGPTを利用して、「Peer Review」と呼ばれるソーシャルメディア監視ツールを開発していた。これは、西側諸国における「反中国的な書き込み」に関するリアルタイムのデータやレポートを収集し、中国当局と共有することを目的としたもので、X(旧Twitter)、Facebook、YouTube、Instagram、Telegram、Redditなどから投稿やコメントを取り込み、分析するように設計されていた。このツールはMetaのLlamaモデルを基盤としていた可能性が高いと考えられている。
OpenAI は、このような利用はポリシーに違反するとして、この活動に関連していた複数のアカウントを削除した。OpenAIの主任研究員ベン・ニモは「AIを搭載した、これほど強力な監視システムを見たのは初めてのことだ」とコメントしている。
https://www.bankinfosecurity.com/china-using-ai-powered-surveillance-tools-says-openai-a-27585
2.北朝鮮の不正な雇用計画
虚偽の求職者の履歴書やオンラインの職務経歴、カバーレターなどをAIで作成していた北朝鮮のグループのアカウントが停止された。この活動はMicrosoftとGoogleが以前に報告していた「北朝鮮関連のIT労働者計画」と戦術、技術、手順が一致しており、北朝鮮が海外にIT労働者を派遣して外貨を獲得するための計画だと同社は指摘している。
彼らは求職者の推薦状を提供し、雇用機会を紹介するための架空の人物を作り上げるのと同時に、ソーシャルメディアで実際の人物を募集して計画を支援させていたという。また面接での技術的/実務的な質問に対し、もっともらしい回答を生成するためにもAIが使用されていたようだ。
3.(おそらくは)中国発の世論操作作戦「Sponsored Discontent」
中国拠点と思われるグループが、AIを利用して「米国の社会や政治を批判するスペイン語の記事」を生成し、翻訳し、ラテンアメリカの主要メディアに掲載しようと試みていた。また、蔡霞氏(もともとは中国共産党の学者で、現在は反体制派として知られている知識人)を攻撃する英語のコメントを自動生成し、英語圏のソーシャルメディアに投稿していた。この作戦に関与した複数のアカウントは削除された。
ベン・ニモは「ラテンアメリカの読者に向けた長文の記事を体系的にスペイン語へ翻訳して公開するというのは、中国の影響力作戦において初めての事例だ」とコメントしている。
4.カンボジア発のロマンス詐欺
ロマンス詐欺(仮想通貨投資詐欺)のネットワークに関連している可能性があるとして、多数のChatGPTアカウントが削除された。OpenAIが調査結果を他社と共有したところ、「カンボジア拠点の新しい詐欺組織から発生している活動だ」とMetaが特定した。
ロマンス詐欺は、まず偽のプロフィールや感情的な会話を通して被害者と親密になり、信頼を得てから、仮想通貨などを通じて多額の金銭を騙し取り、姿を消す。この詐欺師たちはソーシャルメディアやコミュニケーションプラットフォーム(LINE、X、Facebook、Instagramなど)でロマンス詐欺のためのコメントや会話を翻訳したり、生成したりする目的でOpenAIのモデルを利用していた。
ちなみに彼らは「短いコメント」を複数の言語でAI生成しており、特に日本語と中国語が顕著だったと報告されている(こういった報告では、あまり見かけないプラットフォームの「LINE」があるのも道理だ)。彼らはAIモデルに「軽めの若い女性」などの口調を特定して返信を生成していた。この作戦は通常40歳以上の男性を標的としており、医療従事者が狙われやすく、「ゴルフに関連した投稿」に返信する戦略が組まれていた(しかし時折、政治問題や時事問題に関する投稿も行われていたという)。
「最新版」は公平なのか
この報告書の中で、OpenAIは「AIが人類に利益をもたらすように努めている」「AIの悪用を阻止するため、米国や同盟国の政府、業界パートナーと協力し、不正行為を防止する取り組みを支援している」と強調しており、ここで報告されたケースについては「権威主義の体制が米国や自国民に対して、AIを悪用しようとする手法だ」と批判している。
つまり、これらのケーススタディは「米国企業が人類の未来のために開発したAIを、あろうことか自分の利益のために悪用しようとする海外の悪者たち」の報告である。意地の悪い見方をするなら、ここには「米国や同盟国によるAIの悪用例」はひとつも記されていないのだが、実際に報告するようなケースがなかったという可能性もあるので、それだけで恣意的だと決めつけるのは安直だろう。
とはいえ、ひとつ大いに気になることがある。
通常こういった国外の脅威(とりわけ国家支援型の脅威)に関する報告では、中国と並んで筆頭に挙げられる「ロシア」の名前が、この報告書には一度も出てこない。ロシア政府が関与した様々なサイバー攻撃、プロパガンダ活動、他国の選挙に対する印象操作や影響工作の例は枚挙にいとまがなく、この数年は生成型のAIを多用する偽情報工作員の活動も指摘されてきた。さらにNewsguardは先日、ロシアが「AIに誤った回答をさせるための活動」を強化していることも報告している。
そして実際のところ、OpenAI自身が行ってきた過去二回の報告においても、ロシアの国家主導型攻撃アクター「Forest Blizzard(旧 STRONTIUM)」 、ロシア発のトロール部隊(AIに関する誤情報の拡散)、ロシア発の影響作戦などが当然のように報告されてきた。しかし2025年になって初めてのアップデート版から、その国の名前が突如として消えたことは少々不自然であるように感じられるのだが、これは「単なる偶然」なのだろうか?
関連記事
OpenAIが新しいデジタル影響工作報告書を公開 目立った脅威は見つからず
https://inods.co.jp/news/4269/
Xで親トランプ・共和党のAIボットが活動
https://inods.co.jp/news/4463/
Metaが国際詐欺組織Pig Butcheringをテイクダウン
https://inods.co.jp/news/4669/
マイクロソフトのロシア、イラン、中国による米への影響工作報告
https://inods.co.jp/news/4451/
ロシアが仕掛けるAIロンダリング(Newsguardの報告)
https://inods.co.jp/news/5411/