たしかめる
回した回数では、正しくならない。
AI は一発で当てる装置ではなく、調べる → やる → 確かめるを回している。だが三段目は自動では立たない ── 機械で判定できる材料をこちらが渡した時だけ立つ。渡していない仕事は、回した分だけ間違いが積み重なる。
どこの話か輪の三段目 根拠提供元の記述と、測定のある論文が半々
先に、三つ
何が、回っているのか。
3つの前に、3つだけ。どれも提供元のドキュメントか、測定のある論文が言っている側だけ。
-
輪は三段。三段目が「確かめる」。
公式がその名前で書いている ──「頼まれると、調べる・やる・確かめるの三段を通る」。三段が毎回そろうわけではない ── 質問なら一段で終わることもあるし、不具合直しは三段を何度も回る。どこまで回すかは、その場で決まっている。
公式いまの仕様「三つの段 ── gather context・take action・verify results」と定義されている ── code.claude.com / How Claude Code works
-
道具の結果が、次の判断の材料になる。
公式 ──「道具を使うたび、返ってきた情報が輪に戻り、次の判断を作る」。別の資料では「実行中、各段で環境から ground truth を得て、進み具合を測ることが決定的に重要」と書いている。だから、外から何も返ってこない仕事では、輪は回っていない ── 見た目は同じでも、材料が増えていない。
公式いまの仕様「道具の結果が輪に戻り、次の判断を作る」── code.claude.com / How Claude Code works
公式「各段で環境から ground truth を得て進み具合を測ることが決定的に重要」── anthropic.com / Building effective agents
-
答え合わせができる分野は、別の鍛え方をしている。
数学やコードのように正誤を機械で判定できる分野では、正解かどうかそのものを報酬にして訓練できる。人の好みを介さないので、寄りが入らない。つまり「機械で判定できるか」は、使う時の話であると同時に作られ方の話でもある ── 同じ性質が両側に効いている。
論文正誤を機械で判定できる領域で、正解そのものを報酬にして訓練した報告(2025)── arxiv.org/abs/2501.12948
ここから ── 見る場所
材料
確かめる材料は、こちらが渡す。
公式に、そのための節がある ──「自分の仕事を確かめられる時、Claude はうまくいく。テストケースを入れる、期待している画面を貼る、欲しい出力を先に決める」。三段目は自動では立たない ── 判定できるものを渡した時だけ立つ。
⚠️ 「最後にちゃんと確認して」は、材料ではない。判定の基準がこちら側に無いと、確かめる段が見るのは「もっともらしいか」だけになる ── それは一段目と同じ材料しか使っていないので、輪が一周していない。⚠️ 逆に、材料は小さくていい。入力と期待する出力を一組。それだけで三段目に地面ができる。
模式上が材料を渡した場合、下が渡していない場合。止まっているのではなく、二段で回り続けている ── 外から見た動きは同じ。
よくある渡し方
この関数を直して。 最後にちゃんと確認して。
「確認」の基準が向こう側にしか無い。もっともらしく見えた時点で通る。
三段目が立つ渡し方
この関数を直して。 'a@b.com' → 通る 'invalid' → 弾く 直したらこの2つで走らせて、 結果を貼って。
判定が機械の側にある。通ったか通らなかったかが、次の一段の材料になる。
公式いまの仕様「確かめる材料を渡す ── テストケース、期待する画面、決めた出力」という節がある ── code.claude.com / Give Claude something to verify against
公式「判定の基準がはっきりしていて、繰り返すことに測れる価値がある時に、特によく効く」── anthropic.com / Building effective agents
強さ
確かめ方には、強さの順がある。
三つある ── 決まりで確かめる(テストや文法検査。機械が白黒つける)、目で確かめる(自分で開いて見る)、別のAIに採点させる。下へ行くほど弱い。そして、いちばん手軽なのがいちばん下。
⚠️ 別のAIに採点させるのが弱いのは、性能の問題ではない。採点する側も同じ性質を持っている ── 同意のほうへ寄るし、知らないことでも空欄では返さない。どちらも測定がある。⚠️ 提供元も「自動テストは機能を確かめるが、広い要求に合っているかは人の確認が欠かせない」と書いていて、機械だけで閉じるとは言っていない。
模式段の高さは順序だけを表している。どれだけ強いかの比ではない ── 仕事によって、上の段が存在しないこともある。
いちばん下だけで閉じる
この文章を書いて。 → 書けました これ、品質どう? → よく書けています
採点者が書いた本人と同じ性質を持っている。同意へ寄るので、悪い点は出にくい。
上の段を一つ足す
この文章を書いて。 条件:1,200字以内/ 固有名詞は出典つき/ 見出しは3つ 書けたら字数を数えて、 出典のURLを開いて確かめて。
字数は機械が白黒つける。URL の生死も同じ。残りだけを目で見る。
公式「自動テストは機能を確かめるが、広い要求との整合は人の確認が欠かせない」── anthropic.com / Building effective agents
論文人の好みで調整する工程が、同意する方向へ寄せることの測定(2023)── arxiv.org/abs/2310.13548
論文「分からない」より、もっともらしい答えが出やすくなる仕組みの分析(2025)── arxiv.org/abs/2509.04664
止める
回るほど良くなる、とは限らない。
提供元が自分で書いている ── 自律的に回る形は「費用が上がり、誤りが積み重なりうる」。だから同じ文書に「止める条件(繰り返しの上限など)を置け」とも書いてある。回数は、品質の代わりにならない。
⚠️ 人は輪の外に居ない。公式は「あなたもこの輪の一部で、いつでも割り込んで向きを変えられる」と書いている ── 見ているだけの立場ではない。⚠️ ただし割り込めるのは次の一手まで。すでに外へ出たもの(送信・公開・反映)には、止める場所が無い(→ 実行「取り消し」)。
模式右へ行くほど回数。形は「上がり続ける保証が無い」ことだけを言っていて、どこで下がるかは仕事による。
回数に任せる
うまくいくまで 何度でもやり直して。
やり直しの判定が向こう側にあるので、いつ終わるかも向こうが決める。費用も誤りも積み上がる。
先に条件を置く
テストが通るまで直して。 3回試して通らなければ、 止めて、何が起きたかだけ 報告して。
終わる条件が二つとも外側にある ── 通ったか、3回か。どちらでも必ず止まる。
公式「自律的な形は費用が上がり、誤りが積み重なりうる」/「止める条件(繰り返しの上限など)を入れて制御を保て」── anthropic.com / Building effective agents
公式いまの仕様「あなたもこの輪の一部。いつでも割り込んで向きを変えられる」── code.claude.com / How Claude Code works
よく聞くけれど
ここに無いものは、裏が取れていない。
確かめの話でよく出てくる言い回し。どれも上の3つには入れていない。間違いという意味ではなく、ここでは裏を取れなかった、あるいは提供元自身がそうは言っていないという意味。
| よく聞く | ここに置かなかった理由 |
|---|---|
| 「AI にレビューさせれば品質が上がる」 | 採点する側も同じ性質を持っている(同意へ寄る・空欄で返さない)。提供元も「人の確認が欠かせない」と書いていて、機械だけで閉じるとは言っていない |
| 「何回も回せば、そのうち正しくなる」 | 提供元は逆のことを書いている ──「誤りが積み重なりうる」。回数が品質へ向かう、という記述は見つからなかった |
| 「賢いモデルにすれば、確かめは要らない」 | 別の鍛え方ができるのは答え合わせが機械でできる分野。判定できない仕事では、その効きを裏づける測定を見つけられなかった |
| 「途中の考えを書かせれば、答えが確かになる」 | 途中を書かせると答えが変わることは測定されているが、確かになるとは別の主張。ここでは後者の裏を取れなかった |
横に続く →
- この頁が言っているのは一つだけ ── 三段目に機械が判定できる地面があるかどうかで、任せた仕事が良くなるか、間違えたまま止まらなくなるかが分かれる。
- だから最初の判断は「どう頼むか」ではない ── そもそも確かめられる形にできる仕事か。できないなら、渡す前にこちらで確かめ方を作るしかない。
七枚とも、線・格子・輪のどこかの話だった。この頁が三段目なので、ここで一周している。