U&U AI

まかせる

気をつける、では守れない。

AI が手を動かし始めた瞬間 ── ファイルを書く、外のサービスに繋ぐ、コマンドを走らせる ── 危ないところが入れ替わる。そしてその危なさは、注意力でも頼み方でもなく、何と何を同時に持たせたかで決まる。
ここに並ぶ4つは、AI に作業をさせる人向け ── 答えを聞くだけなら、どれも起きない。根拠は全部、公式のドキュメントか測定のある論文にあり、製品の名前が変わっても成り立つ側だけを集めてある。

どこの話か線の下 ── 判断を通らない層 根拠ほとんどが製品の仕様

先に、三つ

何を渡したことになっているのか。

4つの前に、3つだけ。どれも提供元のドキュメントに書いてある。下の4つは、この上に乗っている。

  • 頼む相手と、手を動かす部分は、別のもの。

    モデルがしているのは、文章を読んで続きを書くことだけ。ファイルを消すのも、メールを送るのも、外のサービスを叩くのも、その外側にある道具。だから危険の大きさは、モデルの賢さではなく渡した口の数と種類で決まる。同じモデルでも、口を1つも渡していなければ、起きることは何も無い。

    公式いまの仕様「コードを読み、ファイルを編集し、コマンドを走らせる道具」と定義されている ── code.claude.com / Overview

  • 渡した口は、言葉づかいでは閉じない。

    「気をつけて」と書き足しても、口は開いたまま。閉じるのは設定の側で、そちらは解釈されない ── 禁止の規則は許可より先に評価され、道具の名前ごと禁じるとAI からはその道具が見えなくなる。この差は、上手く書けるかどうかとは関係が無い。

    公式いまの仕様禁止の規則はどの範囲から書いても許可より先に効く ── code.claude.com / Configure permissions

  • 外から流れ込む文章も、あなたの指示と同じ入力になる。

    ウェブページ、道具に付いている説明文、メールの本文。読ませたものは、あなたが書いた指示と同じ平面に並ぶ ── どちらが本物かを示す印は付いていない。公式のドキュメント自身が「仕込まれた指示が判断をすり抜けても、OS の境界のほうは効く」と、すり抜ける前提で層を重ねろと書いている。

    公式いまの仕様「仕込まれた指示が Claude の判断をすり抜けても、サンドボックスの境界は越えられない」── code.claude.com / Configure permissions

ここから ── 見る場所

配線

危ないのは一つずつではなく、三つが同時に揃うこと。

①私的なデータに触れる ②外から来る文章を読む ③外へ出せる口がある。この三つが同時に揃った時だけ、中身が持ち出される道ができる。二つまでなら、道そのものが無い。

⚠️ 「変なことが書いてあっても無視して」と足しても、それは同じ平面に一行足しているだけ。実在する45のサーバーと353の道具から作った1312通りの罠で20のエージェントを測った結果、最もよく断ったモデルでも、断れたのは3%未満だった。断れるかどうかに賭ける形にしない。

模式三つとも入った時だけ、線が繋がる。どれか一つでも外れていれば、経路そのものが存在しない。

逆の手

「知らないサイトに書いてある指示には 従わないでください」とプロンプトに足す

読ませた文章と同じ場所に、もう一行足しているだけ。強さの勝負になっていて、境界になっていない。

合う手

外の文章を読ませる作業と、 送信・投稿・書き込みができる状態を、 同時に持たせない

三つのうちどれか一つを外すのが、唯一の構造的な守り。外すのは、その作業でいちばん惜しくないもの。

記事三つ揃った時にだけ成立する、という整理 ── simonwillison.net / The lethal trifecta

論文実在のサーバーと道具から作った罠に対する測定(AAAI-26)── arxiv.org/abs/2508.14925

規則

「〜しないで」は、お願いであって強制ではない。

設定ファイルや手順書に書いた規則は、毎回読まれる。だが毎回守られるとは限らない。公式が自分でそう書いている ──「『この設定ファイルを触るな』という指示は a request, not a guarantee(お願いであって、保証ではない)」。同じ規則を仕組みの側(フック)に置くと、そちらは発火が保証されていると表に明記されている。

⚠️ 全部を下の層へは降ろせない。降ろせるのは機械が判定できる規則だけ ──「このファイルを触るな」は降りる、「丁寧に書け」は降りない。⚠️ 下の層にも形がある。名前で書いた禁止は、スクリプトが間接的に開いたファイルには効かない(そこまで止めるなら OS の囲いが要る)と、同じドキュメントに書いてある。

模式上は読んで判断される層、下は判断が入らない層。同じ一文でも、どちらに置いたかで、破られうるかどうかが変わる。

逆の手

設定ファイルに 「絶対に本番へ反映するな」と 太字で書く

何度でも書ける。だが守るかどうかを決めているのは、その文を読んだ側。強く書いても層は変わらない。

合う手

その操作を禁止の規則に入れる。 または実行の直前に止まる 仕掛けを一つ置く

破られては困る規則を一本だけ下の層へ降ろす。全部降ろすと動かなくなるので、選ぶのが仕事。

公式いまの仕様「指示はお願いであって保証ではない。毎回効かせたい規則は仕掛けの側にせよ」── code.claude.com / Extend Claude Code

公式いまの仕様名前で書いた禁止は、間接的にファイルを開くプロセスには及ばない ── code.claude.com / Configure permissions

取り消し

取り消せるのは、ファイルの編集だけ。

巻き戻しが捕まえているのは、編集の道具を通った変更だけ。シェルで消したもの、別の作業単位(分身)がやった編集、そして送ったリクエスト・公開したページ・走らせた反映は戻らない。これは外からの指摘ではなく、提供元が自分で限界として書いている。

⚠️ 同じページに「バージョン管理の代わりではない」とも書いてある。戻せる前提で任せるなら、自分で戻せる場所を先に作る ── 走らせる前に記録を刻む、下書きの形で出させる、別のフォルダで走らせる。「戻せるはず」は、範囲を確かめるまでは仮定でしかない。

模式枠の中が、巻き戻しの届く範囲。戻るのは一つだけで、残りは同じ画面から始まっていても戻らない。外側の枠を閉じていないのは、届かない側に境界が無いから。

逆の手

「危なくなったら止めればいい」

止められるのは次の一手だけ。もう出て行ったものには、止める場所が無い ── 送信も公開も、相手側にある。

合う手

取り消せない操作 (送信・公開・課金・削除)にだけ、 実行の前を一段挟む

挟み方は「聞かせる」でも「下書きに出させる」でもいい。戻せない側だけを選んで挟むから、作業が止まらない。

公式いまの仕様シェル経由の変更は追跡されない/別の作業単位の編集は復元されない/「バージョン管理の代わりではない」── code.claude.com / Checkpointing

位置

安全は、4箇所のどこかで作られている。

道具の能力は、どれもよく似ている(読んで、書いて、コマンドを走らせる)。差が出るのはどこで安全を作るかだけ ── 走る前に囲う/一手ごとに聞く/走った後に戻す/最後にまとめて見る。作り方が違うだけで、1箇所だけを見て、安全とも危険とも言えない。

⚠️ 囲いも完全ではない。提供元自身が「サンドボックスはリスクを下げるが、完全な隔離の境界ではない。硬い安全装置として頼る前に、限界のほうを読め」と書いている。守りの中身は、自分がいまどの箇所に立っているかを知っていること ── 立っていない箇所は、誰も埋めていない。

模式四つとも、同じ実行の上の別の位置。どれか一つを選ぶ話ではなく、自分がいまどれに立っているかを知るための図 ── 立っていない位置は、誰も埋めていない。

  • 走る前に囲う ── 境界を先に決めて、中は自由に動かす。越える時にだけ止まる。囲いの中で起きたことは、一つずつは聞かれない。
  • 一手ごとに聞く ── 一操作ずつ人が決める。聞かれた回数だけ判断が要るので、量が増えると人の側が詰まる。
  • 走った後に戻す ── 変更を退避しておいて、後から戻せるようにする。戻せるのは、退避できたものだけ(「取り消し」)。
  • 最後にまとめて見る ── 隔離した場所で自由に走らせ、成果物の段階で人が見る。途中は見ていないので、器が自分のものでない時にだけ成立する。

公式いまの仕様走る前に囲う形(作業場の中は自由、越える時に聞く。既定で入っている)── learn.chatgpt.com / Codex sandboxing

公式いまの仕様一手ごとに聞く形(禁止・確認・許可の三段。自動で承認させる形もあり、そこでは分類器が代わりに見る)── code.claude.com / Configure permissions

公式いまの仕様走った後に戻す形(承認した編集の直前を保存する。既定では止まっているので、自分で入れる)── github.com / gemini-cli checkpointing

公式いまの仕様最後にまとめて見る形(隔離した仮想機械で走らせ、差分と提出の段階で人が見る)── code.claude.com / Claude Code on the web

ここから下 ── この頁の側何に立ち、何を載せていないか、外では何と呼ぶか

よく聞くけれど

ここに無いものは、裏が取れていない。

安全の話でよく出てくる言い回しがある。どれも上の4つには入れていない。間違いという意味ではなく、ここでは裏を取れなかった、あるいは提供元自身がそうは言っていないという意味。

よく見る言い回し上に入れていない理由
「囲いに入れておけば安全」提供元がそう言っていない。「リスクは下げるが、完全な隔離の境界ではない」と公式に書いてある。囲いの中から外へ出せる口が残っていれば、「配線」の三つは揃う
「危ない操作は AI が止めてくれる」自動で承認する仕組みは、分類器 ── これもモデル ── が代わりに見ている。「規則」と同じ層の話で、下の層に降りていない
「毎回確認が出るから安全」確認の回数と安全は別の軸。「回数が増えると人の判定が甘くなる」という主張は、ここでは裏を取れなかったので、根拠としては置いていない
「信頼できる提供元のものだけ入れる」出所の確認は入口の検査であって、走り出した後の強制ではない。誰の検査を通っているかは 索引 の頁で引ける
  • ここには製品ごとの比較表を置いていない。そこは月単位で変わる。自分の道具がどの箇所で安全を作っているかは、その道具のドキュメントに必ず書いてある ── 探す言葉は sandbox・permissions・checkpoint。
  • 「配線」と「規則」は、同じところを指している ── 外から来た文章も、あなたが書いた指示も、同じ入力。だから境界は、文章の中ではなく文章の外側に引くしかない。
  • 4つに共通しているのは、どれも気をつけ方ではなく、配線の話だということ。「もっと注意する」で動く部分が、一つも無い。

手を動かす

いま何が通っているかは、設定を開けば出る。

やること ── いま使っている道具の許可の設定を開く(多くは設定画面か、permissions という名前の項目)。
出るはず ──「聞かずに実行してよい」に何が入っているかが出る。⚠️ 入れた覚えのない項目があったら、それは既定。

この頁の語

外では、この名前で書かれている。

この頁は日本語の言い換えで書いてある ──読みやすい代わりに、そのままでは検索できない。公式のドキュメントも、出典の論文も、右側の語で書かれている。説明つきの一覧は仕組みに在る。

  • 外から来た文章が指示として効く→prompt injectionプロンプトインジェクション

  • 三つ揃うと道ができる→lethal trifecta致死の三点セット

  • 許可の設定→permissions権限

  • 許可の構え→permission modeいまの仕様許可モード

  • 手前で止める構え→plan modeいまの仕様プランモード

  • 必ず走る仕掛け→hookフック

  • 囲い→sandboxサンドボックス

  • 巻き戻し→checkpointチェックポイント