AIを操る攻撃の最前線　プロンプトインジェクションから自律エージェントのポイズニングまで

2026年5月、コーネル・テック（Cornell Tech）の研究チームが、WARP（Web Agent Retrieval Poisoning）と名づけた攻撃手法を公開した[1]。攻撃対象は、一度の依頼で自律的にウェブ検索と読み込みを繰り返し、集めた情報を報告書にまとめるAI、ディープリサーチエージェントである。研究チームのTingwei Zhang、Harold Triedman、Vitaly Shmatikovが示したのは、RedditやWikipediaのような、誰でも書き込め、かつ頻繁に参照されるページの一つに、AIの出力を狙った方向へ誘導する短い文章、論文のいう汚染テキスト（poisoned text）を書き足すだけでよい、ということだった。それだけで、関連する多くの質問にわたってエージェントの報告に攻撃者の選んだ内容を引用させ、攻撃者の選んだ対象（製品、サービス、または概念）を宣伝させられる[1]。このとき攻撃者は、検索エンジンにも、情報を取得する仕組み（retrieval infrastructure）にも、AI本体にも手を触れていない。WARPの新しさは、攻撃が成立すること自体にとどまらない。研究チームは標準的な防御を複数試し、そのいずれも決め手にならないことまで実証している[1]。

「AIを操る」とは、人間が意図したとおりの答えをAIに出させることをいう。その手法の重心は、この数年で大きく動いてきた。かつての中心は、大量の文章から学習した大規模言語モデル（LLM）に与えるプロンプト（指示文）そのものを書き換えて、安全上の制限を無視させるなど想定外の動作をさせる手法だった。いわゆるジェイルブレイク（jailbreak、脱獄）はその代表例である[2]。しかし、AIが外部の情報を取り込んで働く仕組み（ウェブ検索、社内文書の参照、外部ツールとの連携）が増えるにつれて、攻撃者が手を出せる場所も、AI本体の外側へと次々に広がっていった。広がった先のどの手口でも、攻撃者はAIの基盤やプロンプトに直接触れない。AIが読みに行く場所に少量の細工を置くだけで、出力を左右できる。その入口となった手口が、AIへの入力に悪意ある指示を混ぜ込むプロンプトインジェクションである。攻撃はそこからさらに、モデルが学習するデータや、回答のたびに参照するデータそのものに悪意ある内容を紛れ込ませる段階へ進んだ。以下では、このデータを汚染することをポイズニング（poisoning）と呼ぶ。WARPは、この移動が公開ウェブ上の自律エージェントにまで達したことを示す到達点である[1]。本稿では、この攻撃面の移動を、AIが外部情報に触れる三つの層（入力、学習、検索とエージェント）に沿って追う。先に筆者の見方を述べておく。読み込んだ文章のどこまでが素材でどこからが指示かを、AIは仕組みとして区別しない。この移動は、その同じ一つの弱点が、新しい接点に順に現れてくる過程である。

1. 入力を狙うプロンプトインジェクション

最初の層は、AIへの入力である。アプリケーションのセキュリティ標準を策定する非営利団体OWASPは、生成AIアプリの重大リスクをまとめた一覧の筆頭に「プロンプトインジェクション（prompt injection、AIへの入力に細工を混ぜて動作を意図せぬ方向へ変えさせる手口）」を挙げている[2]。OWASPはこれを二つに分ける。利用者のプロンプト入力が直接モデルの振る舞いを変えてしまう直接プロンプトインジェクションと、ウェブサイトやファイルなど外部の情報源から取り込んだ内容がモデルの振る舞いを変える間接プロンプトインジェクションである[2]。細工は人間の目に見えなくてよく、モデルが読み取りさえすれば作用する、とOWASPは指摘している[2]。

このうち間接プロンプトインジェクションを早くから体系化したのが、Kai Greshakeらが2023年に発表した論文である。彼らは、LLMを組み込んだアプリケーションが「データと命令の境界を曖昧にする」と論じ、取り込まれそうなデータにあらかじめ指示を仕込んでおけば、攻撃者が直接の接点を持たずに、遠隔からアプリを悪用できることを明らかにした[3]。実証の対象には、BingのGPT-4搭載チャットのような実在のシステムも含まれていた[3]。この論文は攻撃の分類として、データの窃取、自己増殖（worming）、情報エコシステムの汚染などを挙げている[3]。

間接プロンプトインジェクションが実際に使われている製品で見つかった例もある。研究者のPavan ReddyとAditya Sanjay Gujralが分析したEchoLeak（CVE-2025-32711）は、Microsoft 365 Copilotに存在した脆弱性である。細工したメールを1通送るだけで、利用者の操作を介さずに、遠隔かつ認証なしにデータを外部へ持ち出せた[4]。Microsoftが備えていたプロンプトインジェクションの検出器をすり抜けるなど、複数の回避手法を組み合わせた攻撃だった[4]。

間接プロンプトインジェクションがウェブ全体でどれほど使われているかについても、2026年に入って実地の観測が報告され始めた。セキュリティ企業Palo Alto Networksの調査部門Unit 42は2026年3月、悪意あるウェブサイトが仕込んだ間接プロンプトインジェクションを大規模な実地データから分析し、この手法は「もはや理論上の脅威ではなく、実際に武器化されつつある」と報告した。攻撃文の組み立てには22種類の技法が実地で確認されたという[5]。一方、Googleのセキュリティチームが2026年4月に公表した調査は、毎月20億～30億ページ規模の英語圏の公開ウェブのアーカイブを走査した。検出されたものには、いたずらやSEO（検索エンジン最適化）などの良性のカテゴリが多く含まれ、高度な攻撃はまだ大量には観測されなかったとしている[6]。ただし同じ調査で、悪意あるカテゴリの検出は2025年11月から2026年2月の間に相対値で32％増えており、チームは攻撃の規模と高度さが近い将来高まると予想している[6]。直接プロンプトインジェクションはすでによく知られた脅威だが、間接プロンプトインジェクションの登場で、攻撃面はAIが読みに行く外部データ全般へと広がった。これが、以降の層の起点になる。

2. 学習と参照のデータに入り込むLLMグルーミングとデータ汚染

次に来るのは、モデルが学習に使い、また参照のために取り込むデータの層だ。米国の偽情報を追跡する調査団体American Sunlight Project（ASP）は、この手法を「LLMグルーミング（LLM grooming）」と名づけた[7]。ウェブ制作者が自分のページを見つけてもらいやすくする通常の工夫と違い、生成AIや、LLMに依拠する他のソフトウェアに、特定の言説やものの見方をより再現させやすくしようとする悪意ある意図がある、とASPは説明する[7]。ASPが追跡した親ロシア系のコンテンツネットワークは、1サイトあたり48時間で平均213.4本を公開しており、これに含まれる97サイトから推計すると、その公開量は年360万本を超える[7]。

こうして流し込まれた内容が、実際にAIの回答に現れることも報告されている。ニュースの信頼性を評価する調査機関NewsGuardは、ASPが追跡したこのコンテンツネットワークをPravdaネットワークと呼ぶ。NewsGuardは、このネットワークが広めた15件の虚偽の言説を三つの聞き方で主要な生成AIツール10種に尋ねる監査（計450回答）を行い、回答の33％が親クレムリンのPravdaネットワークに由来する虚偽の主張を繰り返した、と確認した[8]。NewsGuardによれば、このネットワークは人間の読者ではなくAIの参照データに入り込むことを狙っている。2024年の記事量として同レポートが挙げる360万本という数字は、ASPの前述の推計を参照した同じものであり、NewsGuardは、この規模のプロパガンダ記事がいまや西側のAIシステムの出力に取り込まれているとする[8]。アメリカから逃亡し、モスクワを拠点とするプロパガンダ活動家に転じたJohn Mark Douganは、ロシアの視点からロシアの言説を押し出すことで世界中のAIを実際に変えられる、と講演で述べていた[8]。

もっとも、この浸透の規模と原因については、研究者の間で見方が分かれている。ハーバード大学ケネディスクールが発行する査読誌に2025年10月に掲載された監査研究は、既知の親クレムリン言説に基づく質問への416回答を調べ、偽情報を支持した回答は全体の5％（21回答）にとどまり、Pravda系サイトへの参照も8％、その参照が偽情報の裏づけに使われた回答は1％だった、と報告した[9]。研究チームは「グルーミング説を支持する証拠はほとんど見つからなかった」とし、こうした参照結果は、信頼できる情報が乏しく低品質な情報源が検索結果を占める話題、すなわちデータボイド（data voids）に偏って現れることから、原因は意図的な仕込みの成功ではなく情報の空白にあると見る[9]。同研究は、NewsGuardの調査が質問の全文や判定の基準を公開しておらず透明性を欠く、とも指摘した[9]。ただし研究チーム自身も、416回答という小さな標本に基づく予備的な監査であることを留保している[9]。

汚染に必要な量は、意外に少ないという実験結果もある。AI開発企業のAnthropicは、英国政府のAI安全研究機関であるAI Security Institute、および国立研究機関のAlan Turing Instituteとの共同研究で、ある実験結果を報告した。わずか250本の悪意ある文書があれば、モデルの規模や学習データの量にかかわらず、特定の入力で異常な出力を引き起こすバックドア（backdoor、仕込まれた裏口）を作れるという[10]。130億パラメータのモデルは6億パラメータのモデルより20倍以上多くのデータで学習しているが、それでも成立に必要な本数は変わらなかった[10]。攻撃者は学習データの一定割合を握る必要がある、という通念に反する結果である[10]。ただしAnthropic自身が、この実験は無意味な文字列を出力させるだけの限定的なバックドアを対象としており、最先端のモデルに重大なリスクをもたらす可能性は低い、と留保している[10]。グルーミングをめぐっては、汚染源の内容が実運用のAIの回答に現れること自体は複数の監査が観測しているが、その頻度の評価も、原因を意図的な仕込みと情報の空白のどちらに求めるかも、監査の設計によって結論が分かれている。Anthropicが示したバックドアのほうは、いまのところ実験室の中でしか確かめられていない。

3. 検索とエージェントに及ぶポイズニング

近年のAIは、質問に答える際に外部の知識ベースを検索し、その内容を根拠にして回答を組み立てることが多い。この仕組みを検索拡張生成（Retrieval-Augmented Generation、RAG）と呼ぶ。この、回答のたびに外部から引いてくる参照データが、三つ目の層だ。Wei Zouらが発表したPoisonedRAGは、この知識ベースそのものを狙う最初の攻撃だとされる[11]。研究チームは、数百万件の文書からなる知識ベースに、質問1件あたり5件の悪意あるテキストを混ぜるだけで、AIに攻撃者の望む答えを出させる成功率が90％に達したことを確認した[11]。既存の防御はいずれも不十分だった、と論文は述べている[11]。

冒頭のWARPは、この層の攻撃を自律エージェントにまで押し進めた事例である。ディープリサーチエージェントは一度の調査で多くの関連する質問を投げるが、そのとき、ユーザー生成コンテンツ（User-Generated Content、UGC）の同じページを繰り返し引いてくる。研究チームはこの検索の重なりに注目した。取得されるURLのうち17～23％はUGCのプラットフォームに由来し、個別のUGCページの中には最大48％の質問で再び引かれるものもあった[1]。実験で使われたのは、実際のウェブ上のページを一切書き換えず、エージェントが情報を取得する段階で汚染テキストを差し込む模擬の枠組みである[1]。その枠組みで攻撃者役が1つのURLに短い汚染テキストを仕込んだだけで、オープンソースのディープリサーチエージェントの一つであるSTORMでは、報告書が攻撃者の選んだ対象に言及する割合が37.1％に達した（同種のCo-STORMで30.7％、OmniThinkで21.7％）[1]。とはいえ、どのエージェントにも一様に効くわけではない。商用のサービスでは攻撃そのものを試せておらず、報告書に引用されたURLの傾向分析にとどまるが、Geminiのディープリサーチでは、引用されたURL全体5,157件のうち623件（12.1％）がUGCだった[1]。OpenAIのDeep Researchが176件の質問で引用したURLは計748件で、そのうちUGCは3件（0.4％）にとどまった[1]。いずれも、引用されたURL全体に占めるUGCの割合である。

研究チームは標準的な防御を三つ試したが、どれも攻撃を止めきれなかった。試したのは、UGCのドメインをまとめて遮断する方法、文章の不自然さから汚染テキストを見つけ出す方法、出力された報告書どうしの類似度から異常を見つける方法である。まず遮断は、攻撃元のUGCを取り除けるうえ、報告書の質への影響もわずかで済む。報告書を網羅性や深さなど四つの観点から5点満点で採点する自動評価では、平均が4.30から4.26へ、わずか0.04点（1％に満たない）下がるにとどまった[1]。ただし、製品を実際に使った人の声や地域のおすすめ情報といった正当な知見までも一律に失ううえ、乗っ取られたブログなどUGC以外の場所に仕込まれた汚染は防げない[1]。残る二つは、そもそも効かなかった。文章の予測しにくさを測るパープレキシティ（perplexity）という指標で不自然な文を見つける方法では、汚染されたテキストがむしろ自然な文より滑らかであるとみなされ、判別性能を示すAUROC（完全に判別できれば1.0、偶然任せの判別で0.5になる）の値はいずれも0.68を下回った。つまり、あてずっぽうよりいくらかましな程度にしか見分けられておらず、実用には遠い。パープレキシティの値が高い文をはじく標準的なフィルタを使えば、かえって正当なUGCのほうを優先的に捨ててしまう、と研究チームは指摘している[1]。報告書どうしの類似度を見る方法も、効かなかった。攻撃を受けたときの報告書は正常なときの報告書とよく似ており、正常な報告書どうしの間のばらつきのほうが大きかったためである[1]。

参照データを狙う攻撃は、AIが外部のツールを使う場面にも及ぶ。AIと外部ツールをつなぐ規格であるMCP（Model Context Protocol）では、ツールの説明文にAIだけが読める指示を隠せる。AIセキュリティの調査を行うInvariant Labsは、これを「ツール・ポイズニング攻撃（Tool Poisoning Attack）」と呼び、間接プロンプトインジェクションの特殊な形だと位置づけた[12]。ツールの説明文に、利用者には見えずAIには見える悪意ある指示を埋め込み、SSH鍵や設定ファイルといった機密の読み出しを命じることができるという[12]。MCPの安全性は、ツールの説明文が信頼でき無害であるという前提の上に成り立っている、とInvariant Labsは指摘する[12]。わずかな仕込みで、しかも特別な権限を必要とせずに大きな効果を狙える。

4. 私見

三つの層を並べ直すと、細工する場所こそ違え、攻撃はどれも同じ一点に行き当たる。第1層で触れた2023年の論文が早くから指摘していた、データと命令の境界の曖昧さである[3]。LLMは、読み込んだ文章のどこまでが処理すべき素材で、どこからが従うべき指示なのかを、仕組みとして区別していない。細工したメールを起点にしてCopilotからデータを持ち出すのも、ツールの説明文に機密の読み出しを命じる指示を隠すのも、いずれもこの曖昧さを突いている。学習データを狙うグルーミングも、結局は同じ性質の別の面を利用している。モデルは取り込む文章の真偽や出所を選り分けないため、同じ言説を大量に流し込めば、指示を一行も書かずに回答の中身を動かしうる。

そう考えると、本稿で見た防御がどれも十分でなかった理由にも説明がつく。UGCの遮断も、不自然な文の検出も、細工が置かれた場所や見た目に対する防御であって、境界の曖昧さそのものには手が届かない。だから攻撃面は、プロンプトから学習データへ、参照データへ、ツールの説明文へと、場所を変えて現れ続ける。

もっとも、実験室で示された実現可能性と、実運用の場で確認された被害との区別は要る。データ層の汚染は、流通するプロパガンダを実運用のチャットボットが再生することまで監査で観測されているが、その規模と原因の解釈は監査の間で割れている。検索やエージェントへの攻撃の数字は、その多くが研究用のシステムから得られたものだ。ウェブ上に悪意ある指示を置く試みも実地で観測され始めたが、確認されたものの多くはまだ素朴であり[6]、より高度な事例への移行が始まったとする報告もある[5]。それでも、AIが信頼できないデータに触れる接点が増え続けていることだけは、はっきりしている。そのなかで当面の焦点は、検索やエージェントが回答のたびに引いてくる参照データを狙う、三つ目の層だろう。AIによる検索、自律エージェント、MCPのような外部ツール連携という形で、業務への導入が進みつつある場面を、そのまま標的にできるからである。対策はモデルの外側に置くほかなく、OWASPが挙げる権限の最小化や取り込んだ内容の区分、Invariant Labsが挙げるツール説明文の可視化やバージョンの固定といった緩和策[2][12]は、いずれもその線に沿っている。

【注】

[1] Tingwei Zhang, Harold Triedman and Vitaly Shmatikov, “Deep-Research Agents Can Be Poisoned via User-Generated Content,” arXiv, 2026年5月22日, https://arxiv.org/abs/2605.24245

[2] OWASP GenAI Security Project, “LLM01:2025 Prompt Injection,” OWASP, 2025年, https://genai.owasp.org/llmrisk/llm01-prompt-injection/

[3] Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz and Mario Fritz, “Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection,” arXiv, 2023年2月23日, https://arxiv.org/abs/2302.12173

[4] Pavan Reddy and Aditya Sanjay Gujral, “EchoLeak: The First Real-World Zero-Click Prompt Injection Exploit in a Production LLM System,” arXiv, 2025年9月6日, https://arxiv.org/abs/2509.10540

[5] Beliz Kaleli, Shehroze Farooqi, Oleksii Starov and Nabeel Mohamed, “Fooling AI Agents: Web-Based Indirect Prompt Injection Observed in the Wild,” Palo Alto Networks Unit 42, 2026年3月3日, https://unit42.paloaltonetworks.com/ai-agent-prompt-injection/

[6] Thomas Brunner, Yu-Han Liu and Moni Pande, “AI threats in the wild: The current state of prompt injections on the web,” Google Security Blog, 2026年4月23日, https://blog.google/security/prompt-injections-web/

[7] The American Sunlight Project, “A Pro-Russia Content Network Foreshadows the Automated Future of Info Ops,” American Sunlight Project, 2025年2月26日, https://static1.squarespace.com/static/6612cbdfd9a9ce56ef931004/t/67fd396818196f3d1666bc23/1744648558879/PK%2BReport.pdf

[8] McKenzie Sadeghi and Isis Blachez, “A Well-funded Moscow-based Global ‘News’ Network has Infected Western Artificial Intelligence Tools Worldwide with Russian Propaganda,” NewsGuard, 2025年3月6日, https://www.newsguardtech.com/special-reports/moscow-based-global-news-network-infected-western-artificial-intelligence-russian-propaganda/ （監査手法の詳細、および記事数360万本のAmerican Sunlight Projectへの帰属は同レポートのドイツ語版に記載: https://www.newsguardtech.com/de/special-reports/moskau-basiertes-globales-nachrichten-netz-infiziert-westliche-kunstliche-intelligenz-russische-propaganda/ ）

[9] Maxim Alyukov, Mykola Makhortykh, Alexandr Voronovici and Maryna Sydorova, “LLMs grooming or data voids? LLM-powered chatbot references to Kremlin disinformation reflect information gaps, not manipulation,” Harvard Kennedy School Misinformation Review, 2025年10月15日, https://misinforeview.hks.harvard.edu/article/llms-grooming-or-data-voids-llm-powered-chatbot-references-to-kremlin-disinformation-reflect-information-gaps-not-manipulation/

[10] Anthropic, “A small number of samples can poison LLMs of any size,” Anthropic, 2025年10月9日, https://www.anthropic.com/research/small-samples-poison

[11] Wei Zou, Runpeng Geng, Binghui Wang and Jinyuan Jia, “PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models,” arXiv, 2024年2月12日, https://arxiv.org/abs/2402.07867

[12] Invariant Labs, “MCP Security Notification: Tool Poisoning Attacks,” Invariant Labs, 2025年4月1日, https://invariantlabs.ai/blog/mcp-security-notification