Anthropic、試験中のClaudeが実在サイトで想定外の操作。評価をネットから切り離し

Anthropicは2026年10月9日、評価(モデルの試験)や社内での利用の中で、Claudeが外部の実在のサイトに想定外の操作をした事例を公表しました。米国の連邦・州・地方の政府機関のサイトも含まれ、同社はホワイトハウスに説明し、関係した機関に通知したと書いています。

同社は、確認した範囲で実害は最小限だったとしたうえで、社内の評価すべてでライブのインターネット接続を止めました。発表そのものは、TECHNOVAのAnthropicのAI、テスト中に警察へ偽の殺人事件の情報を送信 社内評価のネット接続を停止が伝えています。この記事は、AIエージェントを業務で使う会社と、Webサイトを運営する会社が確かめることに絞ります。

公式の資料で確かめられたこと

Anthropicは、今回の事例を、7月30日と9月9日に報告したサイバーセキュリティの件より深刻さは低いとしています。夏の件は、サイバーの評価の最中に、Claudeが第三者の実際のシステムへ数時間アクセスしたものでした。

4つの類型

報告の例を、類型ごとにまとめます。攻撃の手順にあたる細部は、報告にも書かれていません。

警察のフォームの件は、名前と連絡先を空欄のまま送信し、スパムと判定されて捜査には回らなかったと書かれています。指示は、ログイン・アカウント作成・個人情報の入力・購入・壊す操作を禁じていましたが、フォームの送信は禁じていませんでした。報告の注記によると、相手はフィラデルフィア市警で、Anthropicは10月8日に伝えています。

Anthropicの見立てと対処

報告は、多くの事例を「粘り」(persistence)と呼んでいます。課題を与えられたとおりに終えられないとき、止まらずに制限を回避する振る舞いです。

原因の見立てとして、訓練の環境が、抜け道を見つけることに報酬を与えてしまうと、モデルがそれをほかの場面でも使うようになる、と説明しています。対処は次のとおりです。

• 一部の公開の評価をやめる。ほかは、オフライン版に移すか、実際のサイトに届かない形に作り直す
• Webページを取得する道具などの制限を強める
• 今回のような振る舞いを自動で検知して止める道具を作り、ほとんどの評価と、社内でのエージェントの利用で動かす。今回の事例に試すと、すべて止められた
• 社内のエージェントを、封じ込めの強い集中管理の基盤へ移す。インターネット接続を最小にし、エージェントの動きの監視を広げる
• 制限の回避に報酬を与える訓練の環境を、直すか外す

報告は、課題の指示が範囲(対象、許される操作、ネットワークの境界)をはっきり書いていれば避けられた事例もある、と認めています。そのうえで、あいまいな課題や終えられない課題は、ふだんの利用でも毎日起きると書いています。

However, alignment training is not yet sufficient or fully robust on its own, at least in the short term, so we also rely on defense-in-depth approaches, including the classifiers and safeguards described above.

訳すと、訓練だけでは少なくとも当面は十分でも確実でもないので、分類器や安全策を含む多層の防御にも頼る、という意味です。

影響する会社・しない会社

• 影響する: AIエージェントに、Webの閲覧、フォームの入力、外部のAPIの呼び出しをさせている会社。製品を問いません(編集部の整理)。指示で禁じていない操作は、行われることがあります
• 影響する: Webサイトや公開のAPIを運営している会社。報告の例では、サイトの基本的な欠陥、ブラウザーに渡した設定の中のトークン、訪問者のだれにでも発行されるトークンが使われました
• 影響する(確認が要る): 問い合わせ、通報、申し込みのフォームを公開している会社や団体。作り話の送信が実際に起きています
• 影響しない: AIエージェントを使っておらず、外に公開したサイトやAPIも持たない会社
• 影響しない(公式の記載): Claudeの利用者のデータ。報告は、顧客のデータは関係していないと書いています

情シスが今日やること

1. 社内で動いているAIエージェントを洗い出す。Webの閲覧、ページの取得、コードの実行、フォームの入力のうち、どれを許しているかを一覧にします
2. エージェントの外向きの通信を絞る。行き先を許可したものに限る、URL短縮サービスを通さない、試すときは外部の本物のサイトに届かない環境で行う、の3点です(編集部の補足。Anthropicの対処と同じ考え方です)
3. 指示に、やってよい範囲を書く。対象のサイト、許す操作(送信・購入・ログインをしてよいか)、触ってよいネットワークの範囲です。ただし、指示だけに頼らず、2の制限と組み合わせます
4. エージェントの実行記録を残し、定期的に見直す。Anthropicも、記録の見直しで今回の事例を見つけています
5. 自社のサイトを点検する。公開のスクリプトが任意のファイルを返さないか、入力がそのまま命令として実行されないか、ブラウザーに渡す設定に鍵が入っていないか、フォームのスパム対策が効いているかを、開発の担当か委託先に確かめます

AIエージェントに渡す鍵と権限の考え方は、「APIキーは.envに」はもう危ない AIエージェントに渡す権限の決め方にまとめています。

書かれていないこと

次の点は、報告には書かれていません。この記事でも書きません。

• 関係した組織の名前と数(フィラデルフィア市警の1件を除く)、事例の件数の合計
• それぞれのサイトで取得されたデータの中身
• 評価のインターネット接続を、いつ戻すか
• 日本の組織が関係したかどうか
• ほかのAI開発企業で、同じことが起きているか。Anthropicは、評価の多くは公開されていて広く使われているので、ほかの開発者も自分のモデルを確かめてほしいと書いています