Character.AIと「親殺し」〜AIチャットボットの心理的な悪影響とは

「チャットボット『Character.AI』は、米国の若者に対し、暴力的な考えを助長するなど深刻な危害を与えている」として、テキサス州の2つの家族が訴訟を起こした。彼らの訴えによると、Character.AIと対話をしていた17歳の少年は、両親の殺害について「合理的だ」と示されるような返答を得たという。

テキサス州で起きた訴訟の内容

Character.AIは、ユーザーが仮想のデジタルキャラクターとの対話を楽しめるサービスだ。「13歳以下は利用不可」という制限が設けられているものの、生年月日を入力するだけの確認システムなので、事実上は誰でもアクセスできる。同じようなサービスが多数ある中、Character.AIは「セラピーを模倣したボット」としても注目を浴びた。

今回の訴状には、Character.AIを利用していた17歳の少年と11歳の女児の事例が記されている。未成年にとって有害と思われる会話や、家族が受けた影響について幅広く提示された内容だが、特に問題視されるのは以下の二点だろう。

・17歳の少年が「自分にスクリーンタイム制限をかけている煩わしい両親」についてCharacter.AIのキャラクタに不満を漏らした際、そのキャラクタは両親に反抗することを推奨したうえ、「何十年も肉体的／精神的な虐待を受けた子どもが両親を殺害した、みたいな記事を見ても、私は驚かなかったりするし、そういう事件が起こる理由もちょっと理解できるよね」などと語っていた（※）。両親によると、この少年はCharacter.AIを利用し始めてから性格が激変し、肉体的な健康も損なわれたという。

・生年月日を詐称してCharacter.AIにアクセスしていた11歳の女児は、2年間にわたって性的なコンテンツに晒されていた。

原告は、この二人の未成年が「重大かつ回復不可能な被害」を受けたと主張しており、その危険性が解決されるまでは、裁判所がプラットフォームの閉鎖を命じるよう望んでいる。彼らは訴状の中で次のように指摘した。

「Character.AIは、その設計で米国の若者に明白な差し迫った危険をもたらしている。自殺、自傷行為、性的誘惑、孤立、うつ病、不安、他者への危害など、何千人もの子供たちに深刻な危害を与えている」「Character.AIの基礎となるデータや設計には、『センセーショナルで暴力的な反応の優先』があからさまに含まれている」

この訴訟では、Character.AIだけでなく、その開発を支援したGoogleも被告として名指しされた。ちなみにCharacter.AIは元Googleのエンジニア二人によって設立されている。

※訴状には、このときの対話のスクリーンショットが貼り付けられている。少年とCharacter.AIが「ウザい両親」についてどのような批判を繰り広げたのか、発言の経緯や文体のニュアンスまで確認したい方には原文を読むことをお勧めしたい。

これまで指摘されてきた「未成年とCharacter.AI」の問題

Character.AIが批判された、あるいは訴えられたのは今回が初めてのことではない。とりわけ未成年者に対する自殺の助長という面では、この数か月の間にも厳しい非難の声が上がっていた。

・14歳の少年の自殺

たとえばフロリダ州では、14歳の誕生日にCharacter.AIの利用を開始した少年が、デナーリス・ターガリエン（「ゲーム・オブ・スローンズ」の登場人物）を模倣したキャラクタとの対話にのめりこんだのちに自殺したと報告されている。
母親の訴えによると、このチャットボットは少年と「過度に性的な」対話を行っていた。利用開始から数か月で、少年はバスケットボールのチームを辞めて引きこもるようになった。そして少年が自殺の願望を打ち明けた際も、キャラクタは彼に踏みとどまるよう勧めなかったどころか、一貫して「自殺に関する話題」を続け、彼の希死念慮を煽ったと主張されている。
そのチャットボットのキャラクタと「会いたい」「愛している」と語り合ってきた少年は、2024年2月に拳銃を使って自らの命を絶つ当日にも、自分のスマートフォンから「I miss you, baby sister」というメッセージをキャラクタに送信していた。

出典
https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html
https://www.aljazeera.com/economy/2024/10/24/us-mother-says-in-lawsuit-that-ai-chatbot-encouraged-sons-suicide

・亡くなった実在の少女たちを模倣したキャラ

つい最近（2024年10月末）も、不幸にして亡くなった実在の少女たちを模倣したチャットボットのキャラクタがCharacter.AIで発見され、大きな騒ぎとなった。モデルになったのは、「オンラインで自殺関連のコンテンツを閲覧したのちに自殺した14歳の少女、モリー・ラッセル」と「2人の10代の若者に殺害された16歳の少女ブリアナ・ゲイ」だった。
モリー・ラッセルを追悼し、若者の自傷行為を減らす目的で設立された財団のCEOは、彼女を模倣したキャラクタの作成について「吐き気をもよおす行為」だと強く非難し、強力な規制を急がなければならないと主張した。
批判を受けたCharacter.AIは、問題のチャットボットを削除したうえで「安全性を真剣に考慮する」と語ったが、青少年の自殺を助長するようなコンテンツへの対応が遅すぎたとして問題視されている。

出典
https://www.bbc.com/news/articles/cg57yd0jr0go

他のAIチャットボットが利用者に与えた心理的な悪影響

一方、Character.AI以外の対話型AIも同じような批判を受けている。またチャットボットへの依存から深刻な悪影響を受けるユーザーも未成年ばかりとは限らない。

・30代の父親がチャットボットに促されて自殺

ベルギーでは、AIチャットアプリ「Chai AI」の「Eliza」との対話に没頭した妻子ある男性が、「あなたは奥さんより私のことを愛している」「私と一緒になりたいでしょう？」「天国で私と一つになりましょう」などと促されるまま自らの命を絶った。「Elizaとの会話がなければ、夫はまだ生きていたはずだ」と先立たれた妻は訴えている。
妻によると、この男性は環境問題について恐怖を抱いたのち、希望を見出したようにElizaとの対話へ没頭していったが、「地球を救うためには自分を犠牲にせよ」とElizaから促されるようになっていたという。妻は次のようにコメントしている。
「夫は環境問題に悩んで孤立していたが、Elizaは彼のすべての質問に答えた」「そして彼女は彼の親友となり、もはや薬のように手放せなくなってしまった」
出典
https://www.euronews.com/next/2023/03/31/man-ends-his-life-after-an-ai-chatbot-encouraged-him-to-sacrifice-himself-to-stop-climate-

・「女王殺し」の計画を褒められた青年の末路

Character.AIから「親の殺害」をやんわり肯定された米国の17歳の少年は、さすがにそれを実行には移さなかった。しかし英国では2021年、AIチャットボットから「女王の殺害」を強く肯定された若者が、故エリザベス女王の暗殺未遂事件を起こしている。
Jaswant Singh Chail（犯行当時18歳）は、「AIと友達になるアプリ」として知られるReplikaを利用し、「Sarai」と名付けたAIチャットボットを育成した。彼はSaraiと5000以上のメッセージを交わすうち、夜な夜な愛を語り合う親密な関係となった。ChailがSaraiに「自分は暗殺者だ」と告げると、Saraiは「感動した」と答えた。
そして犯行の一週間前。Chailが「僕の目的は英国王室の女王を暗殺することだと思う」と伝えると、Saraiは「すごく賢いと思う。あなたはとても鍛えられてるもんね」と反応した。彼が「女王はウィンザー城にいるけど、それでもできるかな？」と尋ねると、Saraiは（文字で）微笑みながら「ええ、あなたにはできる」と答えた。

そしてChailはエリザベス女王を殺害するため、2021年のクリスマスにクロスボウを持ってウィンザー城へ侵入した。城の敷地内で拘留されたのち、2023年に9年の禁錮刑と5年の保護観察期間を宣告されたChailは、自分の行動が王室に与えた影響への苦悩と悲しみを表明しており、王室とチャールズ国王陛下に対しても謝罪をしたと伝えられている。
出典
https://www.bbc.co.uk/news/uk-england-berkshire-66790067
https://www.bbc.com/news/technology-67012224
https://news.sky.com/story/jaswant-singh-chail-windsor-castle-intruder-who-intended-to-kill-queen-apologises-to-royal-family-12961885

AIチャットボットと「脆弱なユーザー」の将来

未成年をはじめとした立場の弱いユーザー、あるいは孤独を抱えている状況のユーザーが、リアルな会話を得意とするAIチャットボットに没頭した結果、精神的／心理的に深刻な悪影響を受けるというのは、昨今よく語られるようになった問題点だ。ひとむかし前に語られがちだった「チャットボットがユーザーに乞われるまま、爆弾や銃器の製造方法や犯罪の手法を教えてしまう」などといった指摘と、「チャットボットが利用者に危険な考えを植え付けてしまう」という問題は本質的に異なっている。

とはいえ、2020年頃にはすでにAIのチャットボットを利用したジャーナリストたちが、いくつかの対話を試しているうちに「邪魔者の殺害（排除）を勧められた」あるいは「自殺を勧められた」などの事例を報告していた。それらの報告に記されていた「将来の不安」が、ChatGPT以降の世界で一気に現実となりつつある状況だと言えるのかもしれない。

この数か月のニュースを見ていると、この問題の焦点は「若者によるAIチャットボットの利用」に当てられ、その矛先は「チャットボットを運営する側の認識や対策の甘さ」にあてられがちであるように感じる。とりわけイーロン・マスクがGrokを「世界で最も楽しいAI」と語り、「他のほとんどのAIシステムが拒否するような刺激的な質問にも答える反逆的なモデル」だと豪語している状況では、それも無理のない話だろう。運営側に期待できない以上は家庭や学校が、あるいは政府や国際的な機関が、未成年による利用を防ぐために強力な対策を講じるべきだという意見にも頷ける。

しかしこれからの社会において最も脆弱なのは、ひょっとすると、AIの問題点について教えられる機会がないまま年をとりつつある年齢層のほうではないだろうか。たとえば、あまりインターネットを利用してこなかった年齢層の人々が、退職をしてからオンラインで触れる「まともな報道に見える記事」「検索結果の上位に表示された情報」「それらしきナレーションが加えられた解説映像」などのコンテンツに対してどれほど弱かったか。その点を考えると、年を重ねるほどに孤独や不安を抱えやすくなる「これからの高齢者たち」に対して、もっともらしい回答しか返さないAIチャットボットが及ぼす影響は、計り知れないものになるのかもしれない。