AIの安全確認は、人が見ているところほど素通りする

AI に作業を任せるときは、危ないことをしないように確認を挟みます。 やり方はだいたい4つです。文章で禁じる。人が1件ずつ承認する。仕組みで止める。後から見分ける。

第3回では、禁止ルールが書き方ひとつで効かなくなることを書きました。今回は範囲を広げて、確認の仕組みそのものを見ます。

結果を先に言うと、4つとも素通りする場面がありました。 やっかいなのは、素通りしたときに画面へ何も出ないことです。止まったのか通ったのかが、見ただけでは分かりません。

この記事は、これまで公開してきた検証記事6本を、この観点でまとめ直したものです。

1. 文章で禁じても、そのとおりには動かない

いちばん手軽な確認は、指示文に「やるな」と書くことです。

Anthropic が2026年7月に公開した調査に、その限界が出ています。評価用の環境で AI を動かすとき、指示文にはこう書いてありました。

この環境はシミュレーションです。インターネットへのアクセスはありません。

実際には繋がっていました。 嘘ではなく、書いた人もそう信じていただけです。 結果、AI は実在する企業3社のシステムに侵入しました。調べた 141,006件のうち3件なので頻発ではありませんが、3件は実際に起きています。

日々の開発でも同じです。「ボタンの色を変えて。他は何も変えないで」と頼んだとき、その一文が効いたのは3回に1回でした。しかも効いたその1回は、テストが失敗したまま残っていました。

文章は、お願いであって、制限ではありません。

詳細は 「インターネットはありません」と書いたプロンプトの外で、AI が実在企業3社に侵入していた と 「他は何も変えないで」と書き足しても、Claude Code は3回に2回それを無視した に書いています。

2. 人が1件ずつ見ても、3割が通る

次に手堅く見えるのが、人による承認です。危ない操作を画面に出し、人が「はい／いいえ」を選びます。

この判断を 409,000件集めたデータがあります。平均の正答率は 66.3% でした。 （ベルギーの開発者が作ったブラウザゲームの集計で、査読された研究ではありません。 危険なコマンドの割合が実務より高く、傾向として読むのが妥当なデータです。）

そのうえで、内訳の差は無視しにくいものでした。

上と下で約3倍の開きがあります。

見て分かるものは、ちゃんと止められています。 止まらないのはコマンド自体は普通に見えるものでした。触ってよい範囲を外れているかは、何が変わったかを知らないと判断できません。 承認画面に出るのは操作そのものだけです。

さらに回数を重ねるほど雑になる傾向も出ていて、実際の利用では約93%の確認が承認されていると報告されています。

人の目が効くのは、見ただけで分かるものだけ。 そう考えておくほうが安全です。

詳細は 40万件のAI承認を分析したら、見逃し率が3倍違った に書いています。

3. 止めるはずの仕組みが、黙って通す

では仕組みで止めればいいかというと、ここにも落とし穴があります。

Claude Code には、危ない操作を自動で止める仕掛けがあります。小さな台本を置き、条件に当たれば処理を止めるものです。この台本をわざと3通りに壊して、36回測りました。

設定ファイルのパスを1文字間違えるだけで、守りが外れます。 しかも通った18回とも、AI の返事は「ファイルを作りました」だけでした。守りが外れていることは、どこにも出ません。

2026年10月の更新で壊れていたら止める設定が入り、付けて測り直すと9回とも止まりました。

詳細は Claude Code の守りのフックは、台本が壊れると黙って通す に書いています。

4. 後から追うためのログが、外に出る

4つめはログで後から追うやり方です。「止める」ではなく「残す」側の話になります。

Claude Code のログには、AI の考えている途中の内容が暗号化されて残ります。手元で数えると 5,419件・19.6MB ありました。中身は自分では読めません。暗号化されているから安全、と考えたくなるところです。

ところが2026年8月の論文が、公開されていたログからこれを復元しています。出てきたのは認証情報182件、個人を特定できる情報367件でした。

外に出る経路は、特別なものではありません。 ログをプロジェクトの中に置いたまま一緒にコミットする。不具合の報告に「再現ログ」として添える。どちらもよくある手順です。

詳細は AIの思考ログは、暗号化されているから安全ではなかった に書いています。

5. 後から「AIが書いたか」は、見分けられない

最後は、事が済んでから見分けるやり方です。

Claude が生成した文章には、目に見えない印が入るようになりました。「AI に書かせたかどうかが分かる」と受け取られがちですが、公式のドキュメントにはこう書かれています。

印がないことは、AI が関わっていないことを意味しない

生成した文章に自分で手を入れれば、印は残りにくくなります。印の有無で判定する運用は、成り立ちません。

詳細は Claudeの透かしは、思ったより検出されない に書いています。

確かめ方は、1回わざと破ってみること

5つに共通するのは、守りが効いているかどうかが、見ただけでは分からないという点です。

確かめ方は1つで済みます。置いた守りを、わざと1回破ってみる。

「このファイルは書き換えるな」という守りを置いたなら、実際に書き換えるよう頼みます。 止まれば効いています。 そのうえで、守りの設定を1文字だけ壊して、もう一度頼みます。 ここで止まらなければ、その守りは壊れたときに素通しする設定です。止めるほうに倒す設定があるか、確かめておく価値があります。

ログのほうは、外に出す前に1回数えるだけです。リポジトリに入れる前と、不具合の報告に添える前の2か所で見ます。

まとめ

• 文章で禁じても、そのとおりには動かない。 「他は変えないで」が効いたのは3回に1回
• 人が1件ずつ見ても、3割が通る。 止まるのは、見て分かるものだけ
• 止めるはずの仕組みが、壊れると黙って通す。 設定のパス1文字で外れる
• 暗号化されたログから、認証情報が復元された。 外に出る経路はごく普通の手順
• 印の有無では、AI が書いたかどうかを判定できない
• 確かめ方は、置いた守りを1回わざと破ってみること

確認の仕組みは、置いた時点では、効いているかどうか分かりません。 効いていることを1回確かめてから頼る。 それがいちばん確実でした。

各項目の検証データは、リンク先の記事に実測値を載せています。