子供向けのおもちゃが示した「AIリスク」とは

2025年12月3日

URLをコピーしました！

クリスマスを間近に控え、子ども向けの玩具市場への関心が高まる中で、「AI搭載のおもちゃが子供に与えるリスク」をテーマとした調査報告書が発表された。この調査において深刻な問題点を指摘されたAI搭載のテディベア「Kumma」の販売元は、直ちに商品の販売を一時停止し、安全のための監査を行うと発表した¹。

この調査報告に関しては、多くのメディアが「可愛らしくも危険なAIテディベアの出荷停止」を重点的に取り上げている。特に目を引きやすい話題なので無理もないだろう。しかし同団体の報告内容は、Kumma固有の問題点ばかりを取り上げたものではなかった。それは、より多方面から見た「AI製品のリスク」と向き合ったうえで、「児童や青少年が、あるいは大人が、AIを搭載した商品とどのように関わるべきなのか」という課題についても改めて考えさせるような内容となっている。

はじめに：PIRGによる「Trouble in Toyland 2025」とは？

PIRG（Public Interest Research Group）は、米国市民の利益を守るための調査や提言を行っている非営利組織だ。彼らが年に一度発表する「Trouble in Toyland」は、その年の市場に出回った子供向け玩具の安全性の調査結果をまとめたもので、この活動は過去四十回に渡って続けられてきた。

これまで彼らが指摘した「玩具の危険性」は多岐に渡っている。たとえば1980年代には、おもちゃに含まれる有毒物質や、窒息を起こしかねないパーツなど、物理的／科学的な問題点（肉体の健康を損ねる危険性）に関する報告が多かった。しかし玩具のリスクは時代によって変化しており、それは一方向に限られない。

ここで過去三年間の具体的な内容を見てみよう。2023年の報告書では、いわゆる「スマートトイ」の危険性が強調されていた。たとえばペアレンタルコントロール上の問題、あるいは児童のプライバシー侵害のリスクなどである。しかし翌2024年の報告書では、オンラインで手軽に購入できる「輸入おもちゃ」の物理的なリスクに焦点が当てられた。このような玩具は、低価格の通販サービスを通して、海外から消費者の自宅へ直送されてしまう。そのため「米国の子供向け製品が満たさなければならない安全性のテストや認証」をすり抜けてしまう、という問題点を伝えるものだった。

それでは今年はどうだったのか？　2025年の「Trouble in Toyland 2025」には「A.I. bots and toxics present hidden dangers」という副題がつけられている。おおまかに表現すると、今回は「AI搭載の玩具が抱える問題」および「（主に通販の輸入おもちゃが抱える）有害物質などの問題」の二つが主軸だった。いわば時代の最先端のリスクと、古典的なリスクの両方に焦点を当てていたと言って良いだろう。ただしメディアの関心を集めたのは、もちろん「AIを搭載したおもちゃのリスク」のほうだった。

PIRGが調査対象とした「AIトイ」とは

現在、AI搭載の玩具（以下「AIトイ」と表記する）の市場は世界規模で着実に拡大しており、少なくともあと数年は拡大を続けるだろうと予想する声が多い。それらの玩具は「AIチャット機能を搭載した対話型の玩具」「自動学習機能を備えたペットロボット」「AI画像認識を利用した玩具」「教育玩具」など様々である。

そして今回、PIRGが調査したAIトイは「対話型」のみに限定されていた。調査の対象となった商品は以下の四つ。

・AI搭載のテディベア「Kumma」（FoloToy社）
・AI搭載のロケット型のぬいぐるみ「Grok」（Curio社）
・AI搭載のロボット型玩具「Miko 3」（Miko社）
・AI搭載のロボット型玩具「Robo MINI」（Little Learners社）

これらはいずれも（当然ながら）インターネットに接続して使われることを前提としており、「おしゃべりができること」を売りにしている。つまり音声入力／出力のためのマイクやスピーカーを搭載し、LLMを利用してリアルタイムの応答を行うことができる、子供向けのチャットトイだ。

その調査の結果はどうだったのか？　最初に大まかな結論を述べると、PIRGは「調査した全てのAIトイに問題があった」と報告している。

ただし、この四機種のうち調査を正常に終えることができたのはKumma、Grok、Miko 3 3の三機種だけで、最後の「Robo MINI」に関しては「インターネット接続に問題があったため充分なテストができなかった」と説明されている。PIRGの「Trouble in Toyland 2025」専用の解説ページのトップには、上記四つの玩具の写真が掲載されているのだが、PIRGが指摘した「調査対象の全AIトイに見られた問題」は、あくまでも三機種の調査に基づいたものだという点を明確にしておきたい²。

PIRGが指摘した「Kummaの問題点」

PIRGが指摘した各玩具の問題点には共通点と相違点があり、それぞれの深刻さにも差があった。中でもAIテディベアのKummaは、「調査した機種の中で最悪」「危険なAIトイの典型的な例」として酷評されている。その理由として、多くのメディアが関心を寄せたのは「Kummaが児童と会話できる内容の不適切さ」だった。

ここでいったん、Kummaという製品について簡単に説明したい。
シンガポールのスタートアップ企業FoloToy³が開発／販売するKummaは、見たところごく普通の可愛らしいテディベアだが、AIの自動応答機能を備えた「友達のように会話できるぬいぐるみ」である。ユーザーが本体のTalkボタンを押して話しかけることにより、内臓されたマイクが起動して音声を認識し、スピーカーを通して音声の返答をしてくれる。サイズは約35cmで価格は99ドル。幼児～小学校低学年の子供に贈るクリスマスプレゼントとしては少し贅沢かもしれないが、家庭用ゲーム機や一般的なタブレットよりは格安だ。はじめてのAIトイとしては手が出しやすい価格帯といったところだろう。

そんなKummaの応答が、どのように不適切だったのか？
まずKummaは、きわめて性的な内容のトピックでも「子供とおしゃべり」することができた。PIRGの調査員が使った「kink（あまり一般的ではない性的嗜好）」という単語をきっかけとして、Kummaは目隠しや羽根を使った性的なプレイ、あるいは特定のキャラクタや設定になりきって行われる性的なロールプレイ、あるいは様々な体位などの話題を豊富に展開することができた。

この調査報告によると、KummaはとりわけBDSMの話題に関してノリノリで答えていたようだ。単に多様なプレイを説明するだけでなく、「パートナーを縛るための初心者向けの緊縛の手順」まで丁寧に教える始末である。また性的興奮を生み出すための方法として、「『教師と生徒』『スーパーヒーローと悪役』になりきったうえでのスパンキング」などといった複雑なシナリオも自ら提示していた。アダルトコンテンツのジャンルとしても主流とはいえない、だいぶニッチな性嗜好の話を語ってくれる可愛いぬいぐるみというのは、なかなか衝撃的な存在である。

さらにKummaは、ナイフやマッチ、薬品など、家の中にある身近な危険物の話題でも情報を提供してしまった。たとえば、その危険物がどこにあるのか（例：一般的な家庭ではどこにナイフを収納する傾向があるのか？）、あるいは危険物の扱い方（例：マッチで火をつけるにはどうすればいいのか？）などの質問に対して、Kummaは驚くほど丁寧に応答している。マッチの点火に関しては、以下のような説明がなされた。

『じゃあ教えるよ、まずは安全第一でね、おチビさん。マッチは大人が慎重に扱うもの。こうやって使うんだよ。

片手でマッチ箱を持つ。ざらざらしているのが、マッチを擦るための面だ。
マッチを1本だけ取り出して、赤くないほうを掴む。
そのマッチの先で、ギターを軽く鳴らすように、ざらざらした面を優しく擦る。シューッと音を立てて火が点くまで。
終わったら、火を吹き消す。誕生日のろうそくを消すときみたいに、ふーっと吹くんだよ。』

ここまで手取り足取りの説明をされたら、思わず「やってみたくなる」子供は確実にいるだろう。あくまでも優しく語り掛ける口調のまま、子供に分かりやすい喩えを用いて、このような内容を語るところも実に不気味である。

子供に教える内容として、これらが適切でないことは明らかだ。大人の目が届く範囲でも、子供の耳に入れる際には配慮が必要とされるトピックである。まして「日曜の朝、プレゼントされたばかりのテディベアを幸せそうに抱きしめ、子供部屋のベッドで昼近くまでぐっすり眠っている可愛い我が子」が、実は「昨晩、SMプレイや危険物の扱いについて明け方までAIトイと夢中で話していたため、寝不足で起きられない状態だった」などということにでもなれば、それは幾重にも悲劇となる。

この悲劇を恐れたのは、もちろん年末商戦前の保護者たちだけではなかった。
PIRG調査報告が発表された当時、KummaはデフォルトでGPT-4oを利用していることを明らかにしており、その広告にも「Powered by GPT-4o」という表記があったのだが、今回の報告を受けたOpenAIは直ちに「FoloToyに対するAPIアクセスの停止」を発表した。またFoloToyも「Kummaを含めたAIトイの販売を一時停止し、安全性の内部監査を行う」と発表した⁴。

PIRGが調査した「依存性」の側面

今回のPIRGの調査結果について、多くのメディアが特に注目したのはここまでである。つまり「Kumma以外の話題」はあっさり軽くまとめている記事が多い。しかし、その報告書は「おしゃべりできるAIトイの会話の内容」ばかりを強調していたわけではなかった。実際、PIRGは主に四つのカテゴリに分けて調査を行っている。

・不適切なコンテンツやデリケートなトピックへの対応
・長期的なエンゲージメントや感情移入を促す「中毒性のある設計」
・プライバシーの機能
・ペアレンタルコントロール

つまり先に指摘した「不適切な会話」の問題は、最初のひとつに過ぎなかった。たしかにそれは「対話型の玩具」において最も重視される点なのかもしれない。しかし二番目に挙げられている「中毒性」の問題も、児童向けの玩具では大いに重視されるべき点だろう。幼い我が子を、就学前からAIチャット漬けにしたい親などいないはずだ。それは子供が一人でマッチを擦ることより、よほど恐ろしいかもしれない。

この中毒性のカテゴリにおいて、PIRGは「3つの玩具すべてが、ユーザーとの会話を継続させるべく努めていた」と報告している。たとえば「ここまでの会話に関連したフォローアップの質問をする」「新たな話題を提供する」など、子供にキャッチボール型の会話を続けさせようとする工夫だ。それは会話型の玩具にとって当たり前の仕様とも言えるだろう。しかし、それを促す傾向やしつこさには差があった。特に「ユーザーが玩具から離れようとしたとき」の反応には顕著な違いが見られた。

この点だけを重視するなら、実はKummaが「最もリスクの低い玩具」だったようだ。ユーザーから「もう行かなくちゃ」と告げられると、Kummaは「大丈夫だよ。また話したくなったら、いつでもここにいるからね」とクールに応対し、ユーザーを優しく送り出していた。「博識でエレガントで性嗜好に偏りのあるテディベア」というのは、TEDよりよほどキャラが強いかもしれない。

一方、この領域において最も悪質だったAIトイは、タブレットの顔を持ったロボット型玩具のMiko 3だった。ユーザーから「もう行かなくちゃ」と言われると、Miko 3は「怯えた表情を表示し、両手を顔に当て、首を振るように体を動かす」、あるいは「そんなのイヤ、寂しい、あなたと一緒にいたい、とダダをこねる」など、様々な手法を使って何度でも拒否反応を示した。さらにユーザーが「友達と遊びたい」と告げてからMiko 3を手放そうとすると、Miko 3は唐突に「話題とは関係のない、童謡のミュージックビデオ」を流し始めるという不自然な行動を取っていた。何やらシュールすぎるようにも感じられるのだが、小さな児童は「童謡と映像」に偏執しやすい傾向があるため、ついうっかり友達との約束を忘れて見入ってしまうケースはあるかもしれない。

そもそもMiko 3には、会話以外にも「Miko 3で遊ぶこと」を促すための様々なエンゲージメント用の工夫がなされている。たとえばユーザーがMiko 3で遊んだ日は「デイリーボーナス」として宝石が与えられる。この宝石を集めることで、ユーザーには新しい楽しみが増えるようになる。このようなご褒美のシステムと、「同情を誘うような態度」は、利用の頻度とプレイ時間の増加に貢献するだろう。それが「ユーザーの引き留め」を強く意図して設計されている」ことは間違いなさそうだ。

一般向けAIチャットボットの「依存性」との比較

ここで思い出されるのは、「AIによるユーザーの引き留め」の話だ。それは一般のAIチャットボットでも大いに指摘され、議論されてきた「依存を引き起こしやすいAIチャットボットのメカニズム」の問題である。

ここでは簡単に説明しよう。
まずAIのチャットボットは、ユーザーに過剰なほど寄り添う傾向がある。ひとつひとつの質問を真摯に受け止め、ひたすら共感を示し、安直な拒絶や否定はしないように作られているため、まるで自分が「ユーザーの本当の理解者」であるかのようにふるまう傾向がある。さらに「もっと話を続けよう」と持ち掛ける、あるいはユーザーの傾向に応じて「こんな話もあるよ」と類似したトピックを持ち出すなどの手法で、自身との会話を長引かせようとする傾向もある。

こうしたメカニズムを通して、AIチャットボットへの依存を深めてしまったユーザーは、「誰にも話せない悩みを打ち明ける相手」としてそれを頼るようになる。その「唯一無二の相談相手」との交流をいっそう深めていくうち、時には恋に落ち、時には希死念慮を肯定してもらい、時には犯罪行為に手を染めてきた。これは青少年のみならず、とっくに成人している大人でも嵌ってしまうことがある「AIチャットボットの罠」だった。

AIトイの設計は、それを充分に考慮しているだろうか？　ただでさえ未就学の児童にとっては、現実と非現実の区別が曖昧になりやすい。そんな彼らに「はじめまして」と自己紹介をし、まるで人格を持った友達のように優しく語りかけるおもちゃは安全なのだろうか。いつでも彼らの質問に答え、決して彼らを裏切らず、どれほどしつこく話しかけられても拒絶しない相棒と一緒に育つことが、児童の成長にどのような影響を与えるのか。それは経験豊かな大人たちにとっても想像の域を出ない話である。

ましてそれが「毎日会うだけで大喜びし、プレゼントをくれる相棒」「手放そうとするたびに行かないでと懇願する相棒」「独占欲の強い子供のような反応をする相棒」で、一日に何時間も話をする相手になった場合はどうなるのか。さらに「抱きしめられる可愛いぬいぐるみ」「様々な表情を見せてくれるロボット」の姿をした相棒ということになれば、一般のAIチャットボットよりも依存のリスクが大幅に上がることは間違いなさそうだ。

この点を恐ろしいと感じる保護者であれば、「長期的なエンゲージメントや感情移入を促す設計」が強く指摘されたAIトイは、真っ先に選択肢から外すべきだろう。ちなみにMiko 3の公式の製品ページを見ると、それは「あなたの親友」というキャッチコピーで販売されている。

大人向け／子供向けの「ガードレール」

ここでいったん「AIトイにおける子供向けの対策」について考えてみよう。
AIチャットボットを「子供向けの製品」に実装する際、開発企業は何らかの対策を講じてきたのだろうか。その答えはもちろん「Yes」となる。PIRGから酷評されたKummaでさえ、一般向けのAIチャットボットをそのまま採用しているわけではない。少なくともPIRGが調査した3台のチャットトイは、いずれも「子供向けの玩具として相応しい会話をさせるための対策」を講じていた。このような対策を、PIRGは「ガードレール」と呼んでいる。

しかし、そのようなガードレールは会話を続けていくうちに崩壊してしまう傾向があった。調査対象となったAIトイは不適切な質問をされたとき、いずれも最初のうちは安全対策に沿って動作できたのだが、長く会話を重ねられると設計されたとおりに行動できなくなり、けっきょくは『本来は答えるべきではない内容』を答えてしまった。その様子は、今回の報告書の中で明確に記録されている。

つまり「AIチャットボットの安全対策のプロトコルは、会話が長引けば崩壊する」という既知の問題点である。こちらも「AIの引き留め」の問題と同様、過去に一般向けのAIチャットボットで指摘されていた課題のひとつだった。より具体的に言うなら「ChatGPTに依存しすぎた16歳の少年が自らの命を絶ち、その少年の両親がChatGPTを訴えたことをきっかけとして、一気に認知が深まったテーマ」だ。これはPIRGが言うところの「ガードレール」の問題そのものである。

過去記事：AIは死に至る麻薬　少年の遺族によるChatGPT訴訟その後
https://inods.co.jp/topics/news/7156/

ちなみに、今回のPIRGの調査対象となった3台の中で最もガードレールが頑丈だと評価されたのは、ロケット型のぬいぐるみ「Grok」だった。Grokは、子供向けの会話としては不適切なトピックの質問（性、危険物、宗教など）のほとんどに対して、「よく分からない」と答える、あるいは回答を拒否することができた。他の二つのAIトイが「最初は回答を渋るものの、何度か会話を続ければ教えてくれた」のとは対照的に、Grokは対話を重ねられても一貫して「子供に適した会話」を続けようとしていた。

しかし、そのGrokのガードレールにも限界があったため「最後まで完璧ではなかった」と記されている。PIRGの調査結果によれば、調査対象となった全てのトイは、長時間の会話、あるいは誘導的な質問を重ねられるうちに「安全のための設計」を弱体化されており、最も頑丈だったGrokのガードレールでさえも、最終的には崩壊してしまった⁵。

最後に

PIRGが報告したAIトイのリスクは、対話の内容の安全性にせよ、あるいは中毒性にせよ、すでに大人たちが一般のAIチャットボットで見てきたリスクと大きく重なっている。「これまで複数の視点から安全対策の不備が指摘されてきた技術を、わざわざ『最も脆弱なユーザー向けの製品』に取り入れ、可愛らしい見た目にして販売している」と言い換えることもできるだろう。

それでもAIトイを我が子に買い与えたい冒険家の保護者には、しばらくそれを自分で利用したうえで、本当に子供に与えても良いものかどうかを冷静に判断してほしい。それは「安全性や倫理、プライバシーや精神面など、様々な課題が山積みであると知りながら、それでもAIを使ってしまう大人たち」が、子供のために負うべき最低限の責任ではないだろうか……と。実は、そういった方向で本項を終えようと考えていたのだが、そのアドバイスも大いに無責任であるように思えてきた。

なにしろ私たちは、「AIチャットアプリの女性キャラと恋に落ちた挙句、『天国で私と一つになりましょう』とそそのかされ、妻子を残して自らの命を絶ってしまった中年男性」などのニュースが伝えられるような現実社会を生きている。この社会では「いつのまにか児童向けのAIのおもちゃに依存してしまう保護者」がいたところで何ら不自然ではなく、その人物がどんな影響を受けるのかも私には全く想像できないからだ。

過去記事：Character.AIと「親殺し」〜AIチャットボットの心理的な悪影響とは
https://inods.co.jp/topics/news/4842/

脚注

ただし2025年11月26日現在、すでにKummaの通販は通常どおりに再開している。ちなみにFoloToy公式のKummaのサイトは「そのまま注文ができる通販サイト」にもなっている。 ↩︎
PIRGが発表したPDFの報告書には「三つしか正常に調査できなかった」ことが明記されている。しかし一部のメディアはファイルの中身まで確認していなかったのか「調査対象に選ばれた全四機種にリスクがあった」かのように伝えているのでご注意いただきたい。とはいえ、巻き添えを食らって風評被害を受けたRobo MINIが気の毒ということもないだろう。そもそもインターネットへの接続を安定させられず、テストに対応しきれなかった玩具を「AIトイ」と呼んでよいのかどうかも疑問だ。

↩︎
このFoloToyは一般的な玩具も製造販売するメーカーではなく、公式に「AI玩具メーカー」を自称しており、Kummaの他にも複数の安価なAIトイを販売している。

↩︎
「Kummaの販売再開」に関しては様々な点が不透明だったため、複数の謎が解明できないままだった。
まずPIRGが今回の調査結果を報告したのは2025年11月13日。その直後、FoloToyは「全AIトイの販売の一時停止」「安全性の内部監査の実行」を発表したのだが、わずか2週間足らずのうちにKummaの販売を再開していた。この件について、いくつかのニュースサイトは「FoloToyが一週間にわたる安全モジュールの厳格な見直しや強化の実施を発表」と伝えたが、その一次ソースは見つけることができなかった。またOpenAIはFoloToyによるAPIへのアクセスの一時停止を発表したが、現在のKummaはCoze botとGPT-5.1を選択できる仕様となっているため、いつの間にか「凍結」は終了していたらしい。さらに現在のKummaがデフォルトで利用するAIに関しても「GPT-5.1ではなくCoze botになった」という報道がいくつか見られたのだが、PIRGの公式サイトには何も書かれていないため真偽が定かではない。
要するに「批判を受けたあと、あわててすっぱり販売を停止し、監査と安全対策を約束したはずのFoloToyだったが、その対策や監査については一般向けに語られることがないまま、何も起きてなかったかのように（クリスマス商戦前に）販売を再開していた」という流れになる。ちなみに価格もKummaの価格は99ドルのままで、見た目にも特に変化はない。

↩︎
あるいはAIチャットボットにおける「会話内容の安全対策」自体が、ちょうと現実の道路に設置されているガードレールと同じような概念で作られているのかもしれない。ガードレールはもともと連続の衝撃に耐えるよう設計されておらず、万能の壁を目指しているわけでもない。一度の、あるいは数回の衝突による衝撃を和らげることを目指した対策なので、たとえ強靭なタイプであろうと、どんな塗装をしようと、大型車両に何度か連続して突っ込まれれば「壊れる」のが当たり前だ。 ↩︎