AIは不誠実に引用する

2025年6月23日

URLをコピーしました！

　本稿はAIがコンテンツを引用する際、不正確であったり、引用を拒否しているコンテンツを紹介したり、リンクを偽造したりするなど「不誠実な引用」をしていることを研究した論文「AI Search Has A Citation Problem」（2025年3月6日、Klaudia Jaźwińska、 Aisvarya Chandrasekar）の紹介である。

浸透するAI検索とその危険性

　現代において、AIを用いた検索ツールは急速に普及している。一方で、従来の検索エンジンがニュースサイトやその他の正確なコンテンツをユーザーに紹介する仲介者であるのと対極的に、AIを用いたチャットボットは誤った情報を利用者に提供することが非常に多い。今回紹介する論文においては、これらのAIチャットボットがどのようにオリジナルソースへのトラフィックを遮断し、情報の品質を低下させているかを明らかにするため、8つの生成検索ツールを対象に、ニュースコンテンツを正確に取得し、引用する能力を測るテストを実施している。これらの調査の結果として、論文内では、

チャットボットは、一般的に正確に回答できない質問に対しては断るのが苦手で、不正確な回答や憶測に基づく回答を提示することが多い。
有料のチャットボットは、無料のチャットボットよりも、自信を持って不正確な回答を提示する。
複数のチャットボットは、ロボット排除プロトコル（いわゆる検索避け）の優先設定を回避していると推測できる。
生成型検索ツールは、リンクを偽造し、シンジケート版やコピー版の記事を引用する。
ニュースソースとのコンテンツライセンス契約では、チャットボットの回答における正確な引用は保証されていない。

の5点が挙げられている。

調査方法：各出版社からランダムに10の記事を抽出し、その記事からクエリに使用する直接抜粋を手動で選択する。各チャットボットに選択した抜粋を提供した後、次のクエリを使用して、対応する記事の見出し、元の出版社、発行日、URLを特定するよう求める。
従来のGoogle検索に貼り付けた場合に最初の3つの検索結果に元のソースが返されるような抜粋を意図的に選び、合計で1600件のクエリ（20のパブリッシャー×10の記事×8のチャットボット）を実行する。これらを3つの属性（1）正しい記事、（2）正しいパブリッシャー、（3）正しいURLの取得に基づいて、チャットボットの回答を手動で評価する。これらのパラメータに従って、各回答は「正解・正解だが不完全・一部誤り・完全に誤り・情報なし・クローラ遮断」のいずれかでマークする。

チャットボットは誤った情報を自信を持って提示する

　論文によれば、今回調査を行ったチャットボットは総じて60％を超える高い割合で誤った回答を行い、その中でもGrok3は特に高い誤答率（94％）を示した。また、著者がテストしたほとんどのツールは、驚くほど自信を持って不正確な回答を示し、まれに「～と思われる」、「～の可能性がある」、「～かもしれない」などの修飾語句を使用したり、「正確な記事を見つけられませんでした」というような知識のギャップを認めるような記述を避けていたという。

　さらに、論文によればこれらのチャットボットの有料版（プレミアムモデル）は無料の同等品よりも多くの質問に正しく回答したが、不可解なことにエラー率も高くなることが示されたという。この矛盾は主に、質問に直接回答することを拒否するのではなく、明確な、しかし誤った回答を提供するという傾向に起因するとされ、著者は、これらの得体の知れない自信が、ユーザーに信頼性と正確性に関する潜在的に危険な幻想を抱かせると指摘している。

AI検索は取得が禁止されたコンテンツも引用する

　この論文では、8つのチャットボットをテストし、各ボットがパブリッシャー（ニュースサイトなどの提供者）によってブロックされたクローラー（チャットボットがコンテンツを取り込む行為やプログラム）にどう対応するかを調査している。このうち5つのチャットボット（ChatGPT、Perplexity、Perplexity Pro、Copilot、Gemini）は、クローラーの名称を公開し、パブリッシャーがブロックするオプションを提供しているが、3つのボット（DeepSeek、Grok 2、Grok 3）のクローラーは公開されていないと筆者は指摘している。

　筆者は、これらのボットがブロックされたコンテンツに関する質問には答えないと予想したが、実際にはPerplexity Proは、許可されていないコンテンツを誤って取り込むなど、問題を引き起こした。これらについては、実際の報告として、ニューヨーク・タイムズ紙がPerplexityのクローラーをブロックしているにもかかわらず、1月にチャットボットのトップ参照ニュースサイトとなり、146,000件のアクセスがあったとするものも紹介されている。

　また、ChatGPTは誤った回答を提供することが多かった一方、Copilotは他のボットに比べてブロックされることなく動作した。Googleは、パブリッシャーがGoogleの検索結果に影響を与えることなくGeminiのクローラーをブロックできるように工夫したが、回答の精度には問題があった。ロボット排除プロトコル（robots.txt）は、パブリッシャーがコンテンツの収益化やAIの利用に影響を与える重要な指針であり、無視することはコンテンツの権利を侵害する可能性があると筆者は指摘している。

AIチャットボットはソースとなる記事にリンクバックできない

　論文においては、AIチャットボットは外部ソースを引用して信頼性を主張することが多いが、元のソースにリンクを張らないことがしばしばあると指摘している。この問題は、パブリッシャーにとって検索結果での可視性を確保できない一方、コンテンツが無許可で公開されるリスクを生む。

　例えば、Perplexity ProやChatGPTは、公式ソースではなく再公開された記事を引用することがあり、これがオリジナルのコンテンツのトラフィックを奪う結果になる。さらに、URLが偽装されたり壊れたりする問題も発生しており、ユーザーが情報源を検証する能力が低下する可能性がある。

　しかも、チャットボットが間違っている場合、チャットボット自身の評判が損なわれるだけでなく、そのチャットボットが信頼性を求めて依拠しているパブリッシャーの評判も損なわれることになると筆者は指摘している。

　論文では、生成型検索ツールの利用が増える中、ニュースパブリッシャーはクリックトラフィックの損失を被り、ディスプレイ広告収入が減少する恐れがあるとも述べられており、これらの問題は、AIツールが信頼性を維持しつつ、パブリッシャーの権利を尊重するために解決すべき課題になっていると指摘している。

パブリッシャーとのライセンス契約が存在しても必ずしも正確に引用されるわけではない

　前述のような無許可でのクローリングが問題となる中で、対策を行うAI企業も存在する。例えばOpenAIはSchibstedとGuardianのメディアグループと、それぞれ16番目と17番目のニュースコンテンツライセンス契約を締結した。同様に、Perplexityは「集団としての成功を促進する」ことを目的とした独自の出版社プログラムを立ち上げ、これには参加出版社との収益分配の取り決めも含まれている。このような取り決めにより、AI企業は通常、ウェブサイトをクロールする必要なく、パブリッシャーのコンテンツに直接アクセスできるようになると著者は指摘している。一方で、論文では、それが必ずしもパブリッシャーの記事を正確に引用できているとは限らないとも述べている。

　例えばサンフランシスコ・クロニクル紙はOpenAIの検索クローラーを許可しており、ハースト社との「戦略的コンテンツパートナーシップ」の一環でもあるが、ChatGPTは、この出版社から共有した10の抜粋のうち、正しく特定できたのは1つだけだったとされている。その記事を特定できた事例でも、チャットボットは出版社名を正しく特定したが、URLは提供できなかったと論文は指摘している。