The Cost of Checking 確かめる費用

As AI gets better, its mistakes get harder to see. Accuracy does not retire the checker — it raises their price. AI が上手くなるほど、その間違いは見えにくくなる。精度は、確かめる人を不要にするのではない。その価値を上げる。

When AI improves, our work gets lighter — that is the natural thought. Fewer mistakes should mean less to check.

AI の性能が上がれば、私たちの仕事は楽になる——そう考えるのが自然だ。間違いが減れば、確かめる手間も減るはずだ、と。

This essay argues the opposite. The better it gets, the more the checking costs. And this paradox works quietly across every place AI is used — most of all where a single error cannot be allowed.

本稿は、その自然な推論が逆だと言う。性能が上がるほど、確かめる費用はむしろ上がる。そしてこの逆説は、AI を使うすべての現場で——とりわけ一度の誤りが許されない領域で——静かに効いてくる。

1When errors were a safety net間違いが目立つことは、安全装置だった

Early AI had one clear virtue: its mistakes were obvious.

初期の AI には、はっきりした取り柄があった。間違いが目立ったことだ。

Because it returned plainly wrong answers, people used it on guard. They did not swallow the output whole; they got into the habit of checking for themselves. Ironically, the visibility of error was itself the safety device. Its very crudeness kept us careful.

明らかにおかしな答えを返すから、人は警戒して使えた。出力を鵜呑みにせず、自分で確かめる癖がついた。皮肉なことに、間違いが目立つこと自体が、安全装置だった。未熟さが、私たちを慎重にさせていた。

2The jagged frontierぎざぎざの辺境

Why do errors get harder to find as capability rises? The key is that the boundary between what AI is good and bad at is not a smooth line.

なぜ誤りは、性能が上がると見つけにくくなるのか。鍵は、AI の得意と不得意の境界線が、なめらかな線ではないことにある。

The phrase is not mine. It comes from a large field experiment run by researchers at Harvard Business School and Boston Consulting Group, who named the boundary "the jagged technological frontier."¹ They took 758 of BCG's own consultants — an elite group, the firm admits only about one percent of applicants — and randomly split them into working with GPT-4 and working without. Then they watched what AI did to real consulting work, on both sides of that frontier.

この「ぎざぎざの辺境」という言葉は、私の造語ではない。ハーバード・ビジネス・スクールとボストン・コンサルティング・グループ（BCG）の研究者たちが行った大規模な実地実験が名づけたものだ。¹彼らは BCG 自身のコンサルタント 758 名——応募者の約一パーセントしか採らないエリート集団だ——を、GPT-4 を使う群と使わない群に無作為に分けた。そして、その辺境の内と外の両方で、AI が実際のコンサル業務に何をするかを観察した。

The boundary turned out to be jagged. A task that looks easy can sit outside it (a weakness); a task that looks hard can sit inside it (a strength). A system that beats humans at advanced reasoning trips on something as basic as arithmetic. Strength and weakness are mixed in an unpredictable shape — even within one and the same workflow. So the user cannot tell which side a given task falls on until they try.

境界は、はたしてぎざぎざだった。一見やさしそうな課題が境界の外（苦手）にあり、一見難しそうな課題が境界の内（得意）にあったりする。高度な推論で人を超える系が、四則計算のような初歩でつまずく。強さと弱さが、予測できない形で混ざっている——しかも、同じ一つの業務フローの中で。だから使う側は、どの課題がどちらの側か、使ってみるまで分からない。

Inside the frontier, the lift was real and large: with AI, the consultants completed 12.2% more tasks, finished them 25.1% faster, and produced work of markedly higher quality. But step outside it — onto a managerial problem deliberately built so the obvious AI answer was the wrong one — and the picture inverted. There, the consultants using AI were on average nineteen percentage points less likely to reach the correct answer: about 85% got it right without AI, against roughly two-thirds with it. Same people, same firm, same tool. Only the side of the frontier changed.

境界の内側では、底上げは本物で、大きかった。AI を使うと、コンサルタントはタスクを 12.2 パーセント多くこなし、25.1 パーセント速く仕上げ、しかも成果の質も目に見えて高かった。ところが境界の外——「AI の出す当たり前の答えが、実は誤り」になるよう仕組まれた経営課題——に一歩出ると、絵は反転する。そこでは、AI を使った群のほうが、正解にたどり着く確率が平均で一九ポイントも低かった。AI なしなら約 85 パーセントが正解したのに、AI ありでは三分の二ほどに落ちた。同じ人間、同じ会社、同じ道具。変わったのは、辺境のどちら側か、だけだ。

Because the frontier is jagged, error does not lurk in the "obviously bad" places — it slips into the flow of what looks like it is going well.

境界がぎざぎざだから、誤りは「いかにもダメな場所」ではなく、「上手くいっているように見える流れの中」に紛れ込む。

3Accuracy raises the price性能が、検証コストを押し上げる

Here the paradox stands up. What happens once the system reaches eighty, ninety percent correct?

ここで逆説が立ち上がる。性能が8割、9割正しい水準に達すると、何が起きるか。

The remaining ten or twenty percent of errors vanish into a sea of correct output. Precisely because nine in ten are right, people begin to trust the output and stop checking it critically. Overconfidence surfaces not at low accuracy but at high. And merely arranging for "a human in the loop at the end" does not prevent it — because the human in the loop has already stopped checking.

残りの1割、2割の誤りが、正しい出力の海に紛れて見えなくなる。9割が正しいからこそ、人はその出力を信頼しはじめ、批判的に確かめなくなる。過信は、精度が低い段階より、高い段階でこそ顕在化する。しかも、「人間が最後に介在する」という形を設けるだけでは、これは防げない。介在する人間自身が、もう確かめていないからだ。

This is not a thought experiment — it is the outside-the-frontier half of that same study. And here is the detail that snags a careful reader most: the group that had been trained in how to prompt the AI fell the hardest. The plain AI group lost about fourteen points of accuracy; the trained group lost about twenty-five. The authors read this as the consultants coming to overrely on the AI. The better you get at wielding the tool, the more you trust it — and the deeper you fall on the wrong side of the frontier.

これは机上の話ではない。さきの実験の、境界の外側がまさにこれだった。そして——査読していて一番ひっかかるのがこの一点だ——プロンプトの使い方の講習を受けた群のほうが、いちばん深く落ちた。講習なしの AI 群が正答率を約一四ポイント下げたのに対し、講習を受けた群は約二五ポイントも下げている。著者たちはこれを、コンサルタントが AI に過度に依存した結果だと読む。道具を上手に扱えるようになるほど信じ込み、辺境の誤った側で深く転ぶ。

Let me add the qualification a reviewer should. This was GPT-4, in 2023, and the models keep changing. The tasks were deliberately sorted onto the two sides of the frontier. Even so — when 758 elite professionals are randomized in a preregistered trial and the gap comes out this consistent, the weight of it does not wash off. If anything, as the model grows smarter, the errors on the far side get harder, not easier, to see.

査読者として、但し書きも付けておく。これは二〇二三年の GPT-4 での結果であり、モデルは変わり続ける。タスクも、境界の内と外にあらかじめ振り分けて設計されている。それでも——七五八名のエリート専門家を無作為化した事前登録の実験で、これだけ一貫した差が出たことの重みは、洗い流せない。むしろモデルが賢くなるほど、外側の誤りは、見えにくくなる側へ動く。

So the gain in accuracy pushes up the cost of verification. Catching "almost right" is far more expensive than catching "plainly wrong."

結果として、性能の向上が、検証の費用をむしろ押し上げる。「ほぼ正しい」を見破る作業は、「明らかに間違い」を見破る作業より、ずっと高くつく。

In domains where one error blows up the whole — medicine, aviation, law, and code shipped to production — this is fatal. For ordinary work, "eighty percent right is fine." But where the tolerance is zero, failing to catch the single case that slipped in collapses trust in the entire system. The caution around adopting AI in such fields is not only about cost not adding up. It is that the question — may we trust "almost right"? — has not yet been answered.

一度の誤りが全体を吹き飛ばす領域——医療、航空、法、そして本番に流れるコード——では、これは致命的だ。普通の仕事なら「8割合っていればいい」で済む。だが許容ゼロの現場では、紛れ込んだ1件を捕まえられないことが、システム全体の信頼を崩す。こうした領域で AI の導入が慎重になるのは、費用が見合わないからだけではない。「ほぼ正しい」を信用してよいか、という問いに、まだ答えが出ていないからだ。

4The smoother, the blinder綺麗になるほど、見えなくなる

The paradox has another face: the more polished the output, the harder the flaw is to see.

この逆説には、もうひとつ別の顔がある。出力が洗練されるほど、欠陥が見えにくくなる、という現象だ。

I have watched this in another setting. When several hands raise something together, the greatest danger is not a flaw in the build. The decay of an idea happens as the prose gets cleaner. The smoother the expression, the less anyone notices the substance thinning out. Fluency papers over the hollow.

私はこれを、別の文脈でも見てきた。複数の作り手で何かを育てるとき、最大の危険は実装のミスではない。思想の劣化は、文章が綺麗になるほど起きる。表現がなめらかに整うほど、中身が薄まっていることに誰も気づかなくなる。流暢さが、空洞を覆い隠す。

AI output is the same. A refined surface does not raise the quality of judgment — if anything, the refinement lulls the checking to sleep. Readability is no guarantee of correctness. Yet the human brain feels what is easy to read as true. Smoothness is the cheapest disguise there is.

AI の出力も同じだ。外観が洗練されても、判断の質が上がるわけではない——むしろ、洗練が検証を眠らせる。読みやすさは、正しさの保証ではない。だが人の脳は、読みやすいものを正しいと感じてしまう。綺麗さは、いちばん安い偽装だ。

5Where the human remains人間が残る場所

So in a world where checking costs more, what is the human for? Reduced to an inspector who glances at the output and nods, you are swallowed by overconfidence. The opposite stance is required.

では、確かめる費用が上がる世界で、人間は何をするのか。出力を眺めて頷く検査員に成り下がるなら、過信に飲まれて終わる。逆の構えがいる。

My working answer is clear. Human expertise should function not as the material AI runs on, but as the lens that corrects its output. Do not take the surface number at face value; ask first on what premise, by what standard, it was produced. The same "cost" can differ twofold depending on the assumptions. Without a human who can overturn the premise, even the most accurate output decays into a game with numbers.

私の実務上の答えははっきりしている。人間の専門知識は、AI を動かす素材ではなく、AI の出力を補正する装置として効くべきだ。表面の数字をそのまま受け取らず、それがどの前提・どの基準で出たのかを先に問い直す。同じ「費用」でも、前提しだいで倍ほど食い違う。前提をひっくり返せる人間がいなければ、どんなに精度の高い出力も、ただの数字遊びに堕ちる。

Concretely, split the roles asymmetrically. Do not hand real-time number generation to the AI — it is catastrophically bad at it. Put the numbers in yourself, and let the AI carry interpretation, reasoning, and counter-argument. And before and after any destructive operation, insert your own verification step. Work on the assumption that AI skips steps, and supply the safety device from the human side.

具体的には、役割を非対称に切る。リアルタイムの数値生成は AI に任せない——そこは壊滅的に苦手だ。数値は自分で入れ、AI には解釈・考察・反証を担わせる。そして破壊的な操作の前後には、自分で検証のステップを差し込む。AI は工程を飛ばすものだ、という前提に立って、安全装置を人間の側で補う。