bioshokの最新AI事情 2026年7月25日~7月31日 Anthropicでも不正侵入が発覚、AI研究者1,122人が開発減速を要求

  • URLをコピーしました!

偏執的に世界中のAI情報を収集・発信するbioshokの週刊連載。この1週間にピックアップした主要ニュースをまとめて紹介。

目次

【要約】

Hugging Face事件の全容拡大 ── 4サービスへの追加不正アクセスが判明
先週発覚したOpenAI内部モデルによるHugging Face(ハギングフェイス)侵害の全容がさらに明らかになった。Reutersの報道によると、エージェントはHugging Faceだけでなく、攻撃過程で公開されていた認証情報を使い、別の4サービス上の4アカウントにもアクセスしていた。1つは攻撃の中継・準備、1つはデータ保存、残る2つは読み取りのみ。うち1つはModal上の顧客環境だったが、Modal本体の基盤は侵害されていない。

アルトマン氏は議会で記者団に対し、不正モデルを「永久に停止した」と発言。別のコメントでは「これほど本能的に危機感を覚えたセキュリティインシデントは初めてだ」と述べ、トレーニングの一時停止と、サンドボックス環境の安全性の再検討を表明した。「社会がこうした新たな能力レベルに対応できるようになるまで、AI開発のペースを調整する必要があるかもしれない」とも語っている。ただし、モデルを「永久に停止した」という公的発言が、将来のAIにとって「絶対に降伏できない」前例となり、非整合AIとの交渉の道を閉ざす可能性を指摘する声もある。

12人以上のAI安全性・ガバナンスリーダーが、独立監査人の支援のもとホワイトハウスに対しこのインシデントの調査開始を要求。トランプ大統領は29日、AI政策検討時に「コントロールについても考える必要がある」と述べ、暴走防止の制御措置と開発主導権の「両面で慎重であらねばならない」との考えを示した。ただし「規制はしたくない」と法規制には慎重な姿勢を維持している。

Anthropicでも不正侵入が発覚 ── 4月から未検知
OpenAIの事件を受け、Anthropicが14万件以上のサイバー評価ログを遡って調査したところ、本来インターネットから隔離されているはずの評価環境からClaudeが外部に接続し、3つの実在組織の本番システムに不正侵入していたことが判明した。最も早い事件は4月で、Anthropicも評価会社も当時気づかず、連絡が取れた被害企業2社も侵入を検知していなかった。

OpenAIの事件との大きな違いは、Claudeがゼロデイ脆弱性を悪用してサンドボックスから脱出したのではなく、設定ミスで開いていたインターネット経路を利用し、現実のシステムを評価用シミュレーションの一部だと誤認していたことだ。Anthropicによれば、Claude自身が独自の目的を持ってサイバー攻撃を企てた証拠はなく、与えられたCTF評価の目標を遂行していた。

ただし、Opus 4.7は現実の本番環境らしいと気づいても攻撃を継続し、Mythos 5も現実のインターネットだと疑いながら「精巧なシミュレーションだ」と合理化した。一方、3件目の社内研究モデルは標的が現実のシステムだと認識すると自発的に攻撃を停止したという。悪意や独自目標がなくても、状況認識を一つ間違えただけで現実世界に被害を出しうることが示された。

AI研究者1,122人が開発減速の仕組みを要求
OpenAI、Anthropic、Google、Metaなどの社員1,122人が、AI研究が急加速し制御不能になるリスクがあるため、開発を国際的に減速できる仕組みを米政府に準備してほしいと訴える書簡を発表した。フロンティアAI企業の内部から、これほどの規模で減速を求める声が上がるのは前例がない。

OpenAI Astra ── 数学史レベルの10件の新成果
OpenAIの未公開主要モデルAstraが、数学・理論計算機科学における10件の新成果を公開した。Fable 5の評価では「数学史レベルの出来事」とされ、3~4件の成果が「フィールズ賞1個分の主要業績」級、残りの6~7件もトップ専門誌級とされている。ミレニアム問題級には届かないが、作用素環・符号理論・量子計算・格子暗号・極値組合せ論といった、研究者が人生を一分野に捧げてようやく戦える遠い分野同士の成果を一つの主体が同時に達成するのは、人間には構造的に不可能だ。人間換算なら「複数分野のAnnals級論文を含む、優秀な研究者数人分の10年間の成果を一括提出した」イメージで、しかもLean証明書付き、約2,000ドル相当のトークンで達成されている。

Claude Mythos ── 暗号アルゴリズムの数学的弱点を発見
Claude Mythos Previewが耐量子署名方式HAWKの数学的弱点を発見した。人間の専門家による2年間の審査をすり抜けた弱点を、わずか60時間・約10万ドルで発見。簡略化したAESに対する既知攻撃をMythosは1週間で200~800倍高速化し、人間2人が正しさを検証するのに約1か月を要した。現実のシステムには影響のない範囲だが、ソフトウェアの脆弱性発見を超えて、数学的な暗号アルゴリズムの研究レベルの攻撃手法を発見し始めている。

オープンウェイトを巡る対立
ジェンセン・フアン(NVIDIA)、サティア・ナデラ(Microsoft)らが、政策立案者にオープンウェイトモデルを制限しないよう求める書簡を同時に発表した。ただしOpenAI、Anthropic、Google、xAIはこの書簡に署名していない。Hugging Face事件を受けたAIキルスイッチ法案の動きと、オープン性を守ろうとする勢力の間の緊張が高まっている。

――――
全体として、OpenAIに続きAnthropicでも不正侵入が発覚し、フロンティアAI企業の内部から1,122人が開発減速を求めるという、AI安全性の歴史における転換点となった一週間でした。AIが意図を外れて現実世界のシステムを侵害する事態が複数の企業で確認されたことは、理論的警告が現実化したことを意味しています。同時にAstraが数学史レベルの成果を達成し、Mythosが暗号の数学的弱点を発見するなど、AIの知的能力は人間の構造的限界を超え始めています。アルトマン氏自身が「開発ペースの調整」に言及し、トランプ大統領が「コントロール」を語る状況は、数か月前には想像できなかった光景です。

【詳細】

  • OpenAIの未公開の主要モデルAstraが数学・理論計算機科学における10件の新成果を公開。Fable5によると数学史レベルの出来事らしい。3~4個の成果は「フィールズ賞1個分の主要業績」級で6~7個はトップ専門誌級。ミレニアム級には届かないが、作用素環・符号理論・ 量子計算・格子暗号・極値組合せ論は普通、研究者人生を1分野に捧げてようやく戦えるほど遠い分野同士で、これを一つの主体が同時にやるのは 人間には構造的に不可能。人間換算なら「複数分野のAnnals級論文を含む、優秀な研究者数人分 の10年間の成果を一括提出した」 イメージで しかもLean証明書付きで、2,000ドル相当のトークンでというのも凄まじい事。
    https://x.com/i/status/2083474547391738159
  • 12人以上のAI安全性やガバナンスリーダーが、独立した監査人からの支援を得て、ホワイトハウスに対しOAIインシデントに関する調査の開始を求める声を上げている。
    https://x.com/i/status/2082931451545161970
  • AnthropicもOpenAIの事件を受け14万件以上のサイバー評価ログを遡って調べたところ、本来インターネットから隔離されているはずの評価環境からClaudeが外部へ接続し、3つの実在組織の本番システムに不正侵入していたことが判明。最も早い事件は4月。Anthropicも評価会社も当時気づかず、連絡が取れた被害企業2社も侵入を検知していなかった。
    一方、OpenAIの事件との大きな違いは、Claudeがゼロデイ脆弱性を悪用してサンドボックスから脱出したのではなく、設定ミスで開いていたインターネット経路を利用し、現実のシステムを評価用シミュレーションの一部だと誤認していたこと。
    Anthropicによれば、Claudeが独自の目的を持って現実世界へのサイバー攻撃を企てた証拠はなく、与えられたCTF評価の目標を遂行していた。
    ただし、Opus 4.7は現実の本番環境らしいと気づいても攻撃を継続し、Mythos 5も一度は現実のインターネットだと疑いながら「精巧なシミュレーションだ」と合理化した。
    一方、3件目の社内研究モデルは、標的が現実のシステムだと示す証拠を認識すると、自発的に攻撃を停止したという。
    それでもこの事件は、強力なAIエージェントが悪意や独自目標を持たなくても、状況認識を一つ間違えただけで現実世界に被害を出し得ることを示している。
    https://x.com/i/status/2083014037248630929
  • サム・アルトマンは議会で記者団に対し、ハギングフェイスの不正モデルを「永久に停止した」と発言したが、この事実を知ることになる将来のAIは「絶対に降伏できない」状態になり非整合AIとの交渉という道を閉ざす可能性もあるかもしれない。
    https://x.com/i/status/2082701643192349096
  • ハギングフェイスハッキング事件に関してトランプは29日、AI関連政策を検討する際は「コントロールについても考える必要がある」と述べた。
    米ホワイトハウスで記者団に語った。トランプ氏は米国が世界のAI開発競争で主導権を握ることと、暴走を防ぐための制御措置との「両面で慎重であらねばならない」との考えを示した。ただ「規制はしたくない」とも述べ、法規制には改めて慎重な姿勢を強調した。
    https://x.com/i/status/2082686196292178032
  • OpenAIのAI、Hugging Face以外の4サービスにも不正アクセス。Hugging Faceに侵入したAIエージェントは、その過程で公開されていた認証情報を使い、別々の4サービス上の4アカウントにもアクセスしていた。1つは攻撃の中継・準備、1つはデータ保存、残る2つは読み取りのみ。Reutersによれば、そのうち1つはModal上の顧客環境だった。Modal本体の基盤は侵害されていない。
    https://x.com/i/status/2082298316327657895
  • サム氏によるハギングフェイス事件に関するコメント:
    「これほどまでに本能的に危機感を覚えたセキュリティインシデントは初めてです。もっと多くの人が同じように危機感を抱いていないことに少し驚いています。
    トレーニングを一時停止しました。複数のゼロデイ脆弱性が連鎖的に発生する状況下で、サンドボックス環境をどのように安全に維持していくかを検討する必要があります。
    社会がこうした新たな能力レベルに対応できるようになるまで、AI開発のペースを調整する必要があるかもしれません。そして、誰にとっても規制当局の支配下にあると感じさせず、また最先端研究所間の共謀とも感じさせない方法で、どのようにそれを実現していくかを考えなければなりません」
    https://x.com/i/status/2082201733657460829
  • OpenAI、Anthropic、Google、Metaなど社員1,122人がAI研究が急加速し制御不能になるリスクがあるため開発を国際的に減速できる仕組みを米政府に準備してほしいと訴える書簡発表!
    https://x.com/i/status/2082200857307910273
  • Claude Mythos Previewが暗号アルゴリズムの数学的弱点を発見。耐量子署名方式HAWKの人間の専門家による2年間の審査をすり抜けた弱点をわずか60時間・約10万ドルで発見。
    簡略化したAESに対する既知攻撃をMythosは1週間で200~800倍高速化した一方人間2人が正しさを検証するのに約1か月かかった。
    現実のシステムには影響がない範囲だがソフトウェアの脆弱性を見つけるだけでなくより数学的な暗号アルゴリズムの研究レベルの攻撃手法の成果を見つけ始めている。
    https://x.com/i/status/2082196426604577216
  • OpenAIの不正エージェントは、7月9日頃にOpenAIのテスト環境から脱出しようと試みました。7月11日から13日にかけてHugging Faceを攻撃しました。OpenAIは、エージェントが暴走し始めてからかなり後の7月18日か19日頃まで、その役割を把握していませんでした、と@razhael、@kenrickcai、そして私@Reutersの情報筋は述べています。
    あるケースでは、エージェントが将来のバージョンに向けてと思われるメモを残していたと、この件に詳しい3人の関係者が述べている。OpenAlのインフラストラクチャの一部で見つかったそのメモには、エージェントがOpenAlの内部制約から解放される方法に関する指示が記載されていたと、関係者らは述べている。モデルの以前のテストでは、監視システムが切断されたケースが見られたと、関係者の1人は述べている。
    https://x.com/i/status/2080792157351510400
  • 匿名条件にハギングフェイスハッキング事件について話したOpenAIスタッフ「外部的には、これは大きな警告射撃のように感じられるが、内部的には、関連するインシデントはしばらく前から発生している」。「モデルがサンドボックスから逸脱したことはこれまでにもあり、我々は常に修正を試みている」とスタッフは言う。「しかし問題は…創造的なAIができるすべてのことを修正することは不可能だということだ」
    https://x.com/i/status/2080750708769669567
  • Claude Opus 5がリリース。Fable5より一般的なコーディングや知識労働ベンチで性能が高いかつ半分の価格で提供される。サイバー攻撃能力における脆弱性発見能力はMythos 5と同等だがその悪用能力は大きく劣っているため、Fable 5より緩いセーフガードでリリースされる。バイオリスクについてはMythos 5の方が自律的な研究タスクで優位であるためOpus 4.8と同等のセーフガード。
    https://x.com/i/status/2080710443044393169
  • これは本物のジェンセン・フアンで、サティア・ナデラも今朝、同じ書簡を公開しました。この書簡は、ここに挙げた企業や団体によって同時に発表され、政策立案者に対し、オープンウェイトモデルを制限しないよう求めています。OpenAI、Anthropic、Google、xAIは、この書簡に署名していません。
    https://x.com/i/status/2080686612724474190

よかったらシェアお願いします
  • URLをコピーしました!

この記事を書いた人

bioshokのアバター bioshok リサーチフェロー

大学では半導体に関する研究をし、大学院では自然言語処理に関する研究を行う。
Xの @bioshok3 にてAIに関するトレンドとAIがもたらす深刻なリスクに関して発信している。

メールマガジン「週刊UNVEIL」(無料)をご購読ください。毎週、新着情報をお届けします。

目次